feat(dm): завершено построение DM-слоя (5 витрин) и исправлены баги денормализации

- Зачем:
  - предоставить студентам полный набор аналитических витрин с примерами различных паттернов (UPSERT, Full Rebuild, UNION ALL, двухуровневая агрегация).
- Что:
  - реализованы витрины: sales_report, route_performance, passenger_loyalty, airport_traffic, monthly_overview.
  - исправлен баг в route_performance_load.sql: добавлены JOIN к dim_airports и dim_airplanes для корректной денормализации атрибутов.
  - обновлен скрипт e2e_etl.sh: добавлена верификация всех 5 витрин и проверка бизнес-логики (load factor).
  - обновлены DAGи, тесты и главный DDL скрипт.
- Проверка:
  - автоматизированный прогон e2e_etl.sh через REST API Airflow.
This commit is contained in:
2026-03-04 22:55:16 +03:00
parent f68b055b00
commit 2228312b55
9 changed files with 342 additions and 32 deletions
+8 -5
View File
@@ -7,8 +7,7 @@ from __future__ import annotations
Создаёт 5 DM-витрин: sales_report, route_performance, passenger_loyalty,
airport_traffic, monthly_overview.
На данном этапе реализованы витрины: sales_report, route_performance, passenger_loyalty, airport_traffic.
Остальные витрины будут добавлены в последующих этапах.
На данном этапе реализованы все 5 витрин: sales_report, route_performance, passenger_loyalty, airport_traffic, monthly_overview.
"""
from datetime import timedelta
@@ -60,8 +59,12 @@ with DAG(
sql="dm/airport_traffic_ddl.sql",
)
# Заглушки для будущих витрин (будут реализованы в этапе 5)
# apply_dm_monthly_overview_ddl = PostgresOperator(...)
# Витрина: Помесячная сводка (Этап 5)
apply_dm_monthly_overview_ddl = PostgresOperator(
task_id="apply_dm_monthly_overview_ddl",
postgres_conn_id=GREENPLUM_CONN_ID,
sql="dm/monthly_overview_ddl.sql",
)
# Линейная цепочка
apply_dm_sales_report_ddl >> apply_dm_route_performance_ddl >> apply_dm_passenger_loyalty_ddl >> apply_dm_airport_traffic_ddl
apply_dm_sales_report_ddl >> apply_dm_route_performance_ddl >> apply_dm_passenger_loyalty_ddl >> apply_dm_airport_traffic_ddl >> apply_dm_monthly_overview_ddl