docs: связаны карта DWH, разбор SQL и задания #6

2026-09-20T21:34:30+03:00

ddmitry commented

2026-09-20 21:34:30 +03:00

После знакомства с моделью хранилища читатель переходит к готовой загрузке ods.airports, затем к своему первому заданию ODS. Разбор fact_flight_sales нужен на этапе DDS: он связывает соединения в SQL с конкретными связями карты и объясняет, когда заполняются ключи измерений.

Во всех девяти заданиях появились адресные ссылки на карту и подходящие готовые примеры. В карточках аэропортов, факта и основных связей есть переход обратно к разбору SQL.
Для первого задания названы файлы загрузки и DQ, порядок запуска и проверки. README и индекс документации разделяют знакомство, выполнение задания и поиск деталей. Перед новой загрузкой требуется дождаться завершения bookings_validate и успешного validate_dds.scd2_restore, чтобы восстановление после активного SCD2-теста не затерло параллельные изменения.
ТЗ уточняет смысл _load_id: ODS-снимки сохраняют идентификатор исходного батча STG, DDS/DM используют текущий run_id. Это согласовано с готовой загрузкой и существующим bookings_validate.
По текущему коду уточнены описания полного снимка STG, ограничения параллельных запусков DDS, подсчета посадок и средней заполняемости. Требуемые метрики и стратегии загрузки сохранены. Пояснение о хранении AO сверено с документацией Greenplum.

Порядок ODS → DDS → DM сохранен. SQL, DDL, DAG, проверки и настройки стенда не изменены. Выполнен отдельный проход на сокращение текста.

Проверки исходников:

uv run docs/design/architecture-map/render.py --check: 39 объектов, 90 связей, 215 ссылок; HTML соответствует исходникам.
Проверены 157 локальных Markdown-ссылок и якорей, включая 27 адресов карты. В 135 строках таблиц ТЗ изменены только два согласованных маппинга _load_id; существующие блоки SQL сохранены.
make lint и git diff --check прошли.
make test: 4 passed, 14 skipped. Пропущены 13 DAG smoke-проверок и один интеграционный тест. Полный ETL в этой работе не запускался.

Проверки в браузере (Chromium):

Локальный HTML без сети: все 27 адресов открывают нужную карточку и сохраняют выбор после reload.
Проверены новые ссылки двух примеров и пяти связей, переключение вида с сохранением выбора и расположения, назад/вперед и сброс. Ошибок JavaScript нет.
В Gitea проверены Markdown шести документов, якоря и переходы «разбор → первое задание → ТЗ» в ветке PR.

Материалы после слияния: разбор SQL, первое задание.

Задача: #3
Серия: #1

Closes #3

После знакомства с моделью хранилища читатель переходит к готовой загрузке `ods.airports`, затем к своему первому заданию ODS. Разбор `fact_flight_sales` нужен на этапе DDS: он связывает соединения в SQL с конкретными связями карты и объясняет, когда заполняются ключи измерений. - Во всех девяти заданиях появились адресные ссылки на карту и подходящие готовые примеры. В карточках аэропортов, факта и основных связей есть переход обратно к разбору SQL. - Для первого задания названы файлы загрузки и DQ, порядок запуска и проверки. README и индекс документации разделяют знакомство, выполнение задания и поиск деталей. Перед новой загрузкой требуется дождаться завершения `bookings_validate` и успешного `validate_dds.scd2_restore`, чтобы восстановление после активного SCD2-теста не затерло параллельные изменения. - ТЗ уточняет смысл `_load_id`: ODS-снимки сохраняют идентификатор исходного батча STG, DDS/DM используют текущий `run_id`. Это согласовано с готовой загрузкой и существующим `bookings_validate`. - По текущему коду уточнены описания полного снимка STG, ограничения параллельных запусков DDS, подсчета посадок и средней заполняемости. Требуемые метрики и стратегии загрузки сохранены. Пояснение о хранении AO сверено с [документацией Greenplum](https://knowledge.broadcom.com/external/article/295843). Порядок ODS → DDS → DM сохранен. SQL, DDL, DAG, проверки и настройки стенда не изменены. Выполнен отдельный проход на сокращение текста. Проверки исходников: - `uv run docs/design/architecture-map/render.py --check`: 39 объектов, 90 связей, 215 ссылок; HTML соответствует исходникам. - Проверены 157 локальных Markdown-ссылок и якорей, включая 27 адресов карты. В 135 строках таблиц ТЗ изменены только два согласованных маппинга `_load_id`; существующие блоки SQL сохранены. - `make lint` и `git diff --check` прошли. - `make test`: 4 passed, 14 skipped. Пропущены 13 DAG smoke-проверок и один интеграционный тест. Полный ETL в этой работе не запускался. Проверки в браузере (Chromium): - Локальный HTML без сети: все 27 адресов открывают нужную карточку и сохраняют выбор после reload. - Проверены новые ссылки двух примеров и пяти связей, переключение вида с сохранением выбора и расположения, назад/вперед и сброс. Ошибок JavaScript нет. - В Gitea проверены Markdown шести документов, якоря и переходы «разбор → первое задание → ТЗ» в ветке PR. Материалы после слияния: [разбор SQL](https://git.dementev.space/ddmitry/airflow-greenplum/src/branch/main/docs/design/reading_the_pipeline.md), [первое задание](https://git.dementev.space/ddmitry/airflow-greenplum/src/branch/main/docs/assignment/README.md). Задача: https://git.dementev.space/ddmitry/airflow-greenplum/issues/3 Серия: https://git.dementev.space/ddmitry/airflow-greenplum/issues/1 Closes #3

ddmitry added 1 commit 2026-09-20 21:34:32 +03:00

docs: связаны карта DWH, разбор SQL и задания b7ecfb1bb7

ddmitry added 1 commit 2026-09-20 22:13:26 +03:00

docs: уточнен порядок загрузок после SCD2-проверки 20eb7f7b84

ddmitry merged commit a6fdd43e15 into main

2026-09-20 22:14:31 +03:00

ddmitry referenced this pull request

2026-09-20 22:16:02 +03:00

Сделать структуру учебного DWH понятной через карту и связные руководства #1

ddmitry referenced this pull request

2026-09-20 22:16:03 +03:00

Связать карту хранилища с чтением SQL и учебными заданиями #3