feat(dm): добавлена витрина passenger_loyalty и внедрен паттерн HWM по ключу
- Зачем: - необходимо продемонстрировать студентам метод инкрементального пересчета "затронутых ключей" для больших справочных витрин. - Что: - созданы DDL, Load и DQ скрипты для витрины dm.passenger_loyalty (лояльность пассажиров). - реализован расчет моды (самый частый тариф) через PostgreSQL-специфику DISTINCT ON. - внедрена корректная агрегация SCD2-измерений (unique_routes) по бизнес-ключу route_bk. - настроено Heap-хранилище (WITH appendonly=false) для эффективного выполнения UPSERT. - обновлены DAGи bookings_dm_ddl и bookings_to_gp_dm для включения новой витрины в конвейер. - Проверка: - визуальный аудит SQL на предмет использования p.passenger_id (BK) и r.route_bk. - наличие учебной DQ-проверки ссылочной целостности и инварианта дат (first <= last). - проверка параллельности задач в Airflow DAG.
This commit is contained in:
@@ -7,7 +7,7 @@ from __future__ import annotations
|
||||
Создаёт 5 DM-витрин: sales_report, route_performance, passenger_loyalty,
|
||||
airport_traffic, monthly_overview.
|
||||
|
||||
На данном этапе реализованы витрины: sales_report, route_performance.
|
||||
На данном этапе реализованы витрины: sales_report, route_performance, passenger_loyalty.
|
||||
Остальные витрины будут добавлены в последующих этапах.
|
||||
"""
|
||||
|
||||
@@ -46,10 +46,16 @@ with DAG(
|
||||
sql="dm/route_performance_ddl.sql",
|
||||
)
|
||||
|
||||
# Заглушки для будущих витрин (будут реализованы в этапах 3-5)
|
||||
# apply_dm_passenger_loyalty_ddl = PostgresOperator(...)
|
||||
# Витрина: Лояльность пассажиров (Этап 3)
|
||||
apply_dm_passenger_loyalty_ddl = PostgresOperator(
|
||||
task_id="apply_dm_passenger_loyalty_ddl",
|
||||
postgres_conn_id=GREENPLUM_CONN_ID,
|
||||
sql="dm/passenger_loyalty_ddl.sql",
|
||||
)
|
||||
|
||||
# Заглушки для будущих витрин (будут реализованы в этапах 4-5)
|
||||
# apply_dm_airport_traffic_ddl = PostgresOperator(...)
|
||||
# apply_dm_monthly_overview_ddl = PostgresOperator(...)
|
||||
|
||||
# Линейная цепочка
|
||||
apply_dm_sales_report_ddl >> apply_dm_route_performance_ddl
|
||||
apply_dm_sales_report_ddl >> apply_dm_route_performance_ddl >> apply_dm_passenger_loyalty_ddl
|
||||
|
||||
Reference in New Issue
Block a user