feat(labs): добавлена лабораторная приема справочника через PXF
This commit is contained in:
1 parent
1dd5838fb5
commit
1e72776254
17 files changed
+704
-30
No files matched your search
@@ -1,8 +1,9 @@
|
||||
# Учебные задания
|
||||
|
||||
В стенде уже работает цепочка от Bookings до `dm.sales_report`.
|
||||
Вы дополните ее загрузками ODS, измерениями DDS и четырьмя витринами DM.
|
||||
Поля, преобразования и бизнес-правила описаны в [ТЗ](analyst_spec.md).
|
||||
Сначала вы восстановите прием справочника в STG, затем дополните цепочку
|
||||
загрузками ODS, измерениями DDS и четырьмя витринами DM.
|
||||
Требования к этим расширениям описаны в [ТЗ](analyst_spec.md).
|
||||
|
||||
## Подготовка
|
||||
|
||||
@@ -12,23 +13,31 @@
|
||||
Открывайте [карту](../design/architecture-map.html) рядом с заданием;
|
||||
для Gitea есть [инструкция открытия локального HTML](../design/db_schema.md#как-открыть-карту).
|
||||
|
||||
Таблицы уже созданы, задачи Airflow подключены к SQL-файлам.
|
||||
В учебных `*_load.sql` и `*_dq.sql` пока стоит `SELECT 1;`.
|
||||
Вы заменяете эти заглушки; менять DAG и создавать таблицы заново не требуется.
|
||||
## Прием справочника: PXF → STG
|
||||
|
||||
Пройдите [«Восстановите прием справочника из источника»](pxf_airports.md).
|
||||
Вы разберете готовый участок `airports`, восстановите внешнюю таблицу
|
||||
и загрузку. На повторном запуске и переименовании аэропорта выясните,
|
||||
как загрузка сохраняет снимки источника.
|
||||
|
||||
## Первая загрузка: ODS
|
||||
|
||||
Начните с `ods.airplanes`, затем добавьте `ods.seats`.
|
||||
После приема справочника реализуйте `ods.airplanes`, затем `ods.seats`.
|
||||
На карте откройте [модели самолетов](../design/architecture-map.html#node=ods.airplanes)
|
||||
и [места](../design/architecture-map.html#node=ods.seats): источники STG уже заполнены.
|
||||
Позже обе таблицы понадобятся `dds.dim_airplanes` для характеристик модели
|
||||
и расчета ее вместимости.
|
||||
|
||||
Таблицы уже созданы, задачи Airflow подключены к SQL-файлам.
|
||||
В учебных `*_load.sql` и `*_dq.sql` пока стоит `SELECT 1;`.
|
||||
В заданиях ODS, DDS и DM вы заменяете эти заглушки; менять DAG
|
||||
и создавать таблицы заново не требуется.
|
||||
|
||||
### Готовый пример
|
||||
|
||||
Пройдите [разбор stg.airports → ods.airports](../design/reading_the_pipeline.md#ods-airports).
|
||||
Это близкий пример полного снимка с выбором батча, преобразованиями и дедупликацией.
|
||||
Для первого задания этого разбора достаточно.
|
||||
Для первых загрузок ODS этого разбора достаточно.
|
||||
|
||||
### Самостоятельная работа
|
||||
|
||||
@@ -46,8 +55,8 @@
|
||||
|
||||
### Запуск и проверка
|
||||
|
||||
1. Дождитесь успешного `bookings_to_gp_stage` из подготовки.
|
||||
Если STG уже заполнен, новый запуск для этой работы не нужен.
|
||||
1. Используйте общий снимок после восстановления источника
|
||||
в лабораторной PXF. Новый запуск STG для этой работы не нужен.
|
||||
2. Запустите `bookings_to_gp_ods` целиком. Он выберет согласованный снимок
|
||||
в `resolve_stg_batch_id`, затем выполнит
|
||||
`load_ods_airplanes → dq_ods_airplanes → load_ods_seats → dq_ods_seats`.
|
||||
|
||||
Reference in new issue
Block a user