ddadminandClaude Sonnet 4.6
815a248841
- Зачем:
- подготовка эталонного пайплайна к курсовой: код должен быть чистым,
документация — актуальной, все слои — консистентными.
- Что:
- добавлен ANALYZE во все 5 DM load-скриптов (был в STG/ODS/DDS, пропущен в DM).
- README актуализирован: добавлен DM-слой в быстрый старт, список DAG'ов,
исправлен дефолт BOOKINGS_JOBS (2→1), добавлены примеры запросов DM.
- удалены остатки CSV-пайплайна: CSV_DIR/CSV_ROWS из docs/stack.md.
- docs/stack.md: исправлен дефолт BOOKINGS_JOBS (2→1).
- убран отладочный комментарий «Исправлено:» в passenger_loyalty_load.sql.
- исправлено форматирование (black) в 4 файлах.
- TODO.md: отмечены пройденные пункты Этапа 1.5.
- Проверка:
- make lint && make test — проходят.
Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
143 lines
4.9 KiB
Python
143 lines
4.9 KiB
Python
from __future__ import annotations
|
|
|
|
"""
|
|
Учебный DAG: загрузка из DDS в DM (Greenplum) по домену bookings.
|
|
|
|
Ключевая идея:
|
|
- DM читает из DDS (Star Schema);
|
|
- для каждой витрины выполняем пару задач load -> dq;
|
|
- все витрины загружаются параллельно (не зависят друг от друга);
|
|
- sales_report использует UPSERT (heap-таблица), route_performance — Full Rebuild (AO Column).
|
|
|
|
На данном этапе реализованы все 5 витрин: sales_report, route_performance, passenger_loyalty, airport_traffic, monthly_overview.
|
|
"""
|
|
|
|
from datetime import timedelta
|
|
from logging import getLogger
|
|
|
|
import pendulum
|
|
from airflow.operators.python import PythonOperator
|
|
from airflow.providers.postgres.operators.postgres import PostgresOperator
|
|
|
|
from airflow import DAG
|
|
|
|
GREENPLUM_CONN_ID = "greenplum_conn"
|
|
|
|
log = getLogger(__name__)
|
|
|
|
default_args = {
|
|
"owner": "airflow",
|
|
"retries": 1,
|
|
"retry_delay": timedelta(seconds=30),
|
|
}
|
|
|
|
|
|
def _finish_summary() -> None:
|
|
"""Логирует краткий итог выполнения DM-ветки."""
|
|
log.info("DAG bookings_to_gp_dm завершён. Подробности смотрите в логах задач.")
|
|
|
|
|
|
with DAG(
|
|
dag_id="bookings_to_gp_dm",
|
|
start_date=pendulum.datetime(2017, 1, 1, tz="UTC"),
|
|
schedule=None,
|
|
catchup=False,
|
|
max_active_runs=1,
|
|
template_searchpath="/sql",
|
|
default_args=default_args,
|
|
tags=["demo", "bookings", "greenplum", "dm"],
|
|
description="Учебный DAG: загрузка DDS -> DM (Data Mart) + DQ проверки",
|
|
) as dag:
|
|
# start-задача (для структуры, вдруг понадобятся pre-checks)
|
|
start_dm = PythonOperator(
|
|
task_id="start_dm",
|
|
python_callable=lambda: log.info("Начало загрузки DM-слоя..."),
|
|
)
|
|
|
|
# === Эталонная витрина: sales_report ===
|
|
load_dm_sales_report = PostgresOperator(
|
|
task_id="load_dm_sales_report",
|
|
postgres_conn_id=GREENPLUM_CONN_ID,
|
|
sql="dm/sales_report_load.sql",
|
|
)
|
|
|
|
dq_dm_sales_report = PostgresOperator(
|
|
task_id="dq_dm_sales_report",
|
|
postgres_conn_id=GREENPLUM_CONN_ID,
|
|
sql="dm/sales_report_dq.sql",
|
|
)
|
|
|
|
# === Витрина: Эффективность маршрутов (Этап 2) ===
|
|
load_dm_route_performance = PostgresOperator(
|
|
task_id="load_dm_route_performance",
|
|
postgres_conn_id=GREENPLUM_CONN_ID,
|
|
sql="dm/route_performance_load.sql",
|
|
)
|
|
|
|
dq_dm_route_performance = PostgresOperator(
|
|
task_id="dq_dm_route_performance",
|
|
postgres_conn_id=GREENPLUM_CONN_ID,
|
|
sql="dm/route_performance_dq.sql",
|
|
)
|
|
|
|
# === Витрина: Лояльность пассажиров (Этап 3) ===
|
|
load_dm_passenger_loyalty = PostgresOperator(
|
|
task_id="load_dm_passenger_loyalty",
|
|
postgres_conn_id=GREENPLUM_CONN_ID,
|
|
sql="dm/passenger_loyalty_load.sql",
|
|
)
|
|
|
|
dq_dm_passenger_loyalty = PostgresOperator(
|
|
task_id="dq_dm_passenger_loyalty",
|
|
postgres_conn_id=GREENPLUM_CONN_ID,
|
|
sql="dm/passenger_loyalty_dq.sql",
|
|
)
|
|
|
|
# === Витрина: Пассажиропоток аэропортов (Этап 4) ===
|
|
load_dm_airport_traffic = PostgresOperator(
|
|
task_id="load_dm_airport_traffic",
|
|
postgres_conn_id=GREENPLUM_CONN_ID,
|
|
sql="dm/airport_traffic_load.sql",
|
|
)
|
|
|
|
dq_dm_airport_traffic = PostgresOperator(
|
|
task_id="dq_dm_airport_traffic",
|
|
postgres_conn_id=GREENPLUM_CONN_ID,
|
|
sql="dm/airport_traffic_dq.sql",
|
|
)
|
|
|
|
# === Витрина: Помесячная сводка (Этап 5) ===
|
|
load_dm_monthly_overview = PostgresOperator(
|
|
task_id="load_dm_monthly_overview",
|
|
postgres_conn_id=GREENPLUM_CONN_ID,
|
|
sql="dm/monthly_overview_load.sql",
|
|
)
|
|
|
|
dq_dm_monthly_overview = PostgresOperator(
|
|
task_id="dq_dm_monthly_overview",
|
|
postgres_conn_id=GREENPLUM_CONN_ID,
|
|
sql="dm/monthly_overview_dq.sql",
|
|
)
|
|
|
|
# finish-задача
|
|
finish_dm_summary = PythonOperator(
|
|
task_id="finish_dm_summary",
|
|
python_callable=_finish_summary,
|
|
)
|
|
|
|
# Зависимости: параллельные ветки load -> dq
|
|
start_dm >> [
|
|
load_dm_sales_report,
|
|
load_dm_route_performance,
|
|
load_dm_passenger_loyalty,
|
|
load_dm_airport_traffic,
|
|
load_dm_monthly_overview,
|
|
]
|
|
|
|
# Связываем dq с finish
|
|
load_dm_sales_report >> dq_dm_sales_report >> finish_dm_summary
|
|
load_dm_route_performance >> dq_dm_route_performance >> finish_dm_summary
|
|
load_dm_passenger_loyalty >> dq_dm_passenger_loyalty >> finish_dm_summary
|
|
load_dm_airport_traffic >> dq_dm_airport_traffic >> finish_dm_summary
|
|
load_dm_monthly_overview >> dq_dm_monthly_overview >> finish_dm_summary
|