feat(dm): добавлена витрина passenger_loyalty и внедрен паттерн HWM по ключу

- Зачем:
  - необходимо продемонстрировать студентам метод инкрементального пересчета "затронутых ключей" для больших справочных витрин.
- Что:
  - созданы DDL, Load и DQ скрипты для витрины dm.passenger_loyalty (лояльность пассажиров).
  - реализован расчет моды (самый частый тариф) через PostgreSQL-специфику DISTINCT ON.
  - внедрена корректная агрегация SCD2-измерений (unique_routes) по бизнес-ключу route_bk.
  - настроено Heap-хранилище (WITH appendonly=false) для эффективного выполнения UPSERT.
  - обновлены DAGи bookings_dm_ddl и bookings_to_gp_dm для включения новой витрины в конвейер.
- Проверка:
  - визуальный аудит SQL на предмет использования p.passenger_id (BK) и r.route_bk.
  - наличие учебной DQ-проверки ссылочной целостности и инварианта дат (first <= last).
  - проверка параллельности задач в Airflow DAG.
This commit is contained in:
2026-03-04 22:03:26 +03:00
parent 491f1e68d6
commit a06b52c38d
5 changed files with 249 additions and 9 deletions
+10 -4
View File
@@ -7,7 +7,7 @@ from __future__ import annotations
Создаёт 5 DM-витрин: sales_report, route_performance, passenger_loyalty,
airport_traffic, monthly_overview.
На данном этапе реализованы витрины: sales_report, route_performance.
На данном этапе реализованы витрины: sales_report, route_performance, passenger_loyalty.
Остальные витрины будут добавлены в последующих этапах.
"""
@@ -46,10 +46,16 @@ with DAG(
sql="dm/route_performance_ddl.sql",
)
# Заглушки для будущих витрин (будут реализованы в этапах 3-5)
# apply_dm_passenger_loyalty_ddl = PostgresOperator(...)
# Витрина: Лояльность пассажиров (Этап 3)
apply_dm_passenger_loyalty_ddl = PostgresOperator(
task_id="apply_dm_passenger_loyalty_ddl",
postgres_conn_id=GREENPLUM_CONN_ID,
sql="dm/passenger_loyalty_ddl.sql",
)
# Заглушки для будущих витрин (будут реализованы в этапах 4-5)
# apply_dm_airport_traffic_ddl = PostgresOperator(...)
# apply_dm_monthly_overview_ddl = PostgresOperator(...)
# Линейная цепочка
apply_dm_sales_report_ddl >> apply_dm_route_performance_ddl
apply_dm_sales_report_ddl >> apply_dm_route_performance_ddl >> apply_dm_passenger_loyalty_ddl
+18 -5
View File
@@ -9,7 +9,7 @@ from __future__ import annotations
- все витрины загружаются параллельно (не зависят друг от друга);
- sales_report использует UPSERT (heap-таблица), route_performance — Full Rebuild (AO Column).
На данном этапе реализованы витрины: sales_report, route_performance.
На данном этапе реализованы витрины: sales_report, route_performance, passenger_loyalty.
Остальные витрины будут добавлены в последующих этапах.
"""
@@ -81,9 +81,20 @@ with DAG(
sql="dm/route_performance_dq.sql",
)
# === Заглушки для будущих витрин (будут реализованы в этапах 3-5) ===
# load_dm_passenger_loyalty = PostgresOperator(...)
# dq_dm_passenger_loyalty = PostgresOperator(...)
# === Витрина: Лояльность пассажиров (Этап 3) ===
load_dm_passenger_loyalty = PostgresOperator(
task_id="load_dm_passenger_loyalty",
postgres_conn_id=GREENPLUM_CONN_ID,
sql="dm/passenger_loyalty_load.sql",
)
dq_dm_passenger_loyalty = PostgresOperator(
task_id="dq_dm_passenger_loyalty",
postgres_conn_id=GREENPLUM_CONN_ID,
sql="dm/passenger_loyalty_dq.sql",
)
# === Заглушки для будущих витрин (будут реализованы в этапах 4-5) ===
# load_dm_airport_traffic = PostgresOperator(...)
# dq_dm_airport_traffic = PostgresOperator(...)
# load_dm_monthly_overview = PostgresOperator(...)
@@ -98,9 +109,11 @@ with DAG(
# Зависимости: параллельные ветки load -> dq
start_dm >> [
load_dm_sales_report,
load_dm_route_performance
load_dm_route_performance,
load_dm_passenger_loyalty
]
# Связываем dq с finish
load_dm_sales_report >> dq_dm_sales_report >> finish_dm_summary
load_dm_route_performance >> dq_dm_route_performance >> finish_dm_summary
load_dm_passenger_loyalty >> dq_dm_passenger_loyalty >> finish_dm_summary