feat(labs): добавлена лабораторная приема справочника через PXF

This commit is contained in:
ddadmin committed 2026-09-22 11:26:21 -04:00
1 parent 1dd5838fb5
commit 1e72776254
17 files changed
+704 -30

No files matched your search

+18 -9
View File
@@ -1,8 +1,9 @@
# Учебные задания
В стенде уже работает цепочка от Bookings до `dm.sales_report`.
Вы дополните ее загрузками ODS, измерениями DDS и четырьмя витринами DM.
Поля, преобразования и бизнес-правила описаны в [ТЗ](analyst_spec.md).
Сначала вы восстановите прием справочника в STG, затем дополните цепочку
загрузками ODS, измерениями DDS и четырьмя витринами DM.
Требования к этим расширениям описаны в [ТЗ](analyst_spec.md).
## Подготовка
@@ -12,23 +13,31 @@
Открывайте [карту](../design/architecture-map.html) рядом с заданием;
для Gitea есть [инструкция открытия локального HTML](../design/db_schema.md#как-открыть-карту).
Таблицы уже созданы, задачи Airflow подключены к SQL-файлам.
В учебных `*_load.sql` и `*_dq.sql` пока стоит `SELECT 1;`.
Вы заменяете эти заглушки; менять DAG и создавать таблицы заново не требуется.
## Прием справочника: PXF → STG
Пройдите [«Восстановите прием справочника из источника»](pxf_airports.md).
Вы разберете готовый участок `airports`, восстановите внешнюю таблицу
и загрузку. На повторном запуске и переименовании аэропорта выясните,
как загрузка сохраняет снимки источника.
## Первая загрузка: ODS
Начните с `ods.airplanes`, затем добавьте `ods.seats`.
После приема справочника реализуйте `ods.airplanes`, затем `ods.seats`.
На карте откройте [модели самолетов](../design/architecture-map.html#node=ods.airplanes)
и [места](../design/architecture-map.html#node=ods.seats): источники STG уже заполнены.
Позже обе таблицы понадобятся `dds.dim_airplanes` для характеристик модели
и расчета ее вместимости.
Таблицы уже созданы, задачи Airflow подключены к SQL-файлам.
В учебных `*_load.sql` и `*_dq.sql` пока стоит `SELECT 1;`.
В заданиях ODS, DDS и DM вы заменяете эти заглушки; менять DAG
и создавать таблицы заново не требуется.
### Готовый пример
Пройдите [разбор stg.airports → ods.airports](../design/reading_the_pipeline.md#ods-airports).
Это близкий пример полного снимка с выбором батча, преобразованиями и дедупликацией.
Для первого задания этого разбора достаточно.
Для первых загрузок ODS этого разбора достаточно.
### Самостоятельная работа
@@ -46,8 +55,8 @@
### Запуск и проверка
1. Дождитесь успешного `bookings_to_gp_stage` из подготовки.
Если STG уже заполнен, новый запуск для этой работы не нужен.
1. Используйте общий снимок после восстановления источника
в лабораторной PXF. Новый запуск STG для этой работы не нужен.
2. Запустите `bookings_to_gp_ods` целиком. Он выберет согласованный снимок
в `resolve_stg_batch_id`, затем выполнит
`load_ods_airplanes → dq_ods_airplanes → load_ods_seats → dq_ods_seats`.