feat(dm): завершено построение DM-слоя (5 витрин) и исправлены баги денормализации
- Зачем: - предоставить студентам полный набор аналитических витрин с примерами различных паттернов (UPSERT, Full Rebuild, UNION ALL, двухуровневая агрегация). - Что: - реализованы витрины: sales_report, route_performance, passenger_loyalty, airport_traffic, monthly_overview. - исправлен баг в route_performance_load.sql: добавлены JOIN к dim_airports и dim_airplanes для корректной денормализации атрибутов. - обновлен скрипт e2e_etl.sh: добавлена верификация всех 5 витрин и проверка бизнес-логики (load factor). - обновлены DAGи, тесты и главный DDL скрипт. - Проверка: - автоматизированный прогон e2e_etl.sh через REST API Airflow.
This commit is contained in:
@@ -7,8 +7,7 @@ from __future__ import annotations
|
||||
Создаёт 5 DM-витрин: sales_report, route_performance, passenger_loyalty,
|
||||
airport_traffic, monthly_overview.
|
||||
|
||||
На данном этапе реализованы витрины: sales_report, route_performance, passenger_loyalty, airport_traffic.
|
||||
Остальные витрины будут добавлены в последующих этапах.
|
||||
На данном этапе реализованы все 5 витрин: sales_report, route_performance, passenger_loyalty, airport_traffic, monthly_overview.
|
||||
"""
|
||||
|
||||
from datetime import timedelta
|
||||
@@ -60,8 +59,12 @@ with DAG(
|
||||
sql="dm/airport_traffic_ddl.sql",
|
||||
)
|
||||
|
||||
# Заглушки для будущих витрин (будут реализованы в этапе 5)
|
||||
# apply_dm_monthly_overview_ddl = PostgresOperator(...)
|
||||
# Витрина: Помесячная сводка (Этап 5)
|
||||
apply_dm_monthly_overview_ddl = PostgresOperator(
|
||||
task_id="apply_dm_monthly_overview_ddl",
|
||||
postgres_conn_id=GREENPLUM_CONN_ID,
|
||||
sql="dm/monthly_overview_ddl.sql",
|
||||
)
|
||||
|
||||
# Линейная цепочка
|
||||
apply_dm_sales_report_ddl >> apply_dm_route_performance_ddl >> apply_dm_passenger_loyalty_ddl >> apply_dm_airport_traffic_ddl
|
||||
apply_dm_sales_report_ddl >> apply_dm_route_performance_ddl >> apply_dm_passenger_loyalty_ddl >> apply_dm_airport_traffic_ddl >> apply_dm_monthly_overview_ddl
|
||||
|
||||
@@ -9,8 +9,7 @@ from __future__ import annotations
|
||||
- все витрины загружаются параллельно (не зависят друг от друга);
|
||||
- sales_report использует UPSERT (heap-таблица), route_performance — Full Rebuild (AO Column).
|
||||
|
||||
На данном этапе реализованы витрины: sales_report, route_performance, passenger_loyalty, airport_traffic.
|
||||
Остальные витрины будут добавлены в последующих этапах.
|
||||
На данном этапе реализованы все 5 витрин: sales_report, route_performance, passenger_loyalty, airport_traffic, monthly_overview.
|
||||
"""
|
||||
|
||||
from datetime import timedelta
|
||||
@@ -107,9 +106,18 @@ with DAG(
|
||||
sql="dm/airport_traffic_dq.sql",
|
||||
)
|
||||
|
||||
# === Заглушки для будущих витрин (будут реализованы в этапе 5) ===
|
||||
# load_dm_monthly_overview = PostgresOperator(...)
|
||||
# dq_dm_monthly_overview = PostgresOperator(...)
|
||||
# === Витрина: Помесячная сводка (Этап 5) ===
|
||||
load_dm_monthly_overview = PostgresOperator(
|
||||
task_id="load_dm_monthly_overview",
|
||||
postgres_conn_id=GREENPLUM_CONN_ID,
|
||||
sql="dm/monthly_overview_load.sql",
|
||||
)
|
||||
|
||||
dq_dm_monthly_overview = PostgresOperator(
|
||||
task_id="dq_dm_monthly_overview",
|
||||
postgres_conn_id=GREENPLUM_CONN_ID,
|
||||
sql="dm/monthly_overview_dq.sql",
|
||||
)
|
||||
|
||||
# finish-задача
|
||||
finish_dm_summary = PythonOperator(
|
||||
@@ -122,7 +130,8 @@ with DAG(
|
||||
load_dm_sales_report,
|
||||
load_dm_route_performance,
|
||||
load_dm_passenger_loyalty,
|
||||
load_dm_airport_traffic
|
||||
load_dm_airport_traffic,
|
||||
load_dm_monthly_overview
|
||||
]
|
||||
|
||||
# Связываем dq с finish
|
||||
@@ -130,3 +139,4 @@ with DAG(
|
||||
load_dm_route_performance >> dq_dm_route_performance >> finish_dm_summary
|
||||
load_dm_passenger_loyalty >> dq_dm_passenger_loyalty >> finish_dm_summary
|
||||
load_dm_airport_traffic >> dq_dm_airport_traffic >> finish_dm_summary
|
||||
load_dm_monthly_overview >> dq_dm_monthly_overview >> finish_dm_summary
|
||||
|
||||
Reference in New Issue
Block a user