ddadminandClaude Sonnet 4.6
815a248841
- Зачем:
- подготовка эталонного пайплайна к курсовой: код должен быть чистым,
документация — актуальной, все слои — консистентными.
- Что:
- добавлен ANALYZE во все 5 DM load-скриптов (был в STG/ODS/DDS, пропущен в DM).
- README актуализирован: добавлен DM-слой в быстрый старт, список DAG'ов,
исправлен дефолт BOOKINGS_JOBS (2→1), добавлены примеры запросов DM.
- удалены остатки CSV-пайплайна: CSV_DIR/CSV_ROWS из docs/stack.md.
- docs/stack.md: исправлен дефолт BOOKINGS_JOBS (2→1).
- убран отладочный комментарий «Исправлено:» в passenger_loyalty_load.sql.
- исправлено форматирование (black) в 4 файлах.
- TODO.md: отмечены пройденные пункты Этапа 1.5.
- Проверка:
- make lint && make test — проходят.
Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
77 lines
2.7 KiB
Python
77 lines
2.7 KiB
Python
from __future__ import annotations
|
|
|
|
"""
|
|
Учебный DAG: создаёт/обновляет DM-слой (Data Mart) в Greenplum для домена bookings.
|
|
|
|
Запускается вручную перед DAG загрузки `bookings_to_gp_dm` или после изменения DM DDL.
|
|
Создаёт 5 DM-витрин: sales_report, route_performance, passenger_loyalty,
|
|
airport_traffic, monthly_overview.
|
|
|
|
На данном этапе реализованы все 5 витрин: sales_report, route_performance, passenger_loyalty, airport_traffic, monthly_overview.
|
|
"""
|
|
|
|
from datetime import timedelta
|
|
|
|
import pendulum
|
|
from airflow.providers.postgres.operators.postgres import PostgresOperator
|
|
|
|
from airflow import DAG
|
|
|
|
GREENPLUM_CONN_ID = "greenplum_conn"
|
|
|
|
default_args = {"owner": "airflow", "retries": 1, "retry_delay": timedelta(seconds=30)}
|
|
|
|
with DAG(
|
|
dag_id="bookings_dm_ddl",
|
|
start_date=pendulum.datetime(2017, 1, 1, tz="UTC"),
|
|
schedule=None,
|
|
catchup=False,
|
|
template_searchpath="/sql",
|
|
default_args=default_args,
|
|
tags=["demo", "greenplum", "ddl", "bookings", "dm"],
|
|
description="Учебный DDL DAG: создаёт/обновляет dm.* для bookings",
|
|
) as dag:
|
|
# Эталонная витрина: sales_report
|
|
apply_dm_sales_report_ddl = PostgresOperator(
|
|
task_id="apply_dm_sales_report_ddl",
|
|
postgres_conn_id=GREENPLUM_CONN_ID,
|
|
sql="dm/sales_report_ddl.sql",
|
|
)
|
|
|
|
# Витрина: Эффективность маршрутов (Этап 2)
|
|
apply_dm_route_performance_ddl = PostgresOperator(
|
|
task_id="apply_dm_route_performance_ddl",
|
|
postgres_conn_id=GREENPLUM_CONN_ID,
|
|
sql="dm/route_performance_ddl.sql",
|
|
)
|
|
|
|
# Витрина: Лояльность пассажиров (Этап 3)
|
|
apply_dm_passenger_loyalty_ddl = PostgresOperator(
|
|
task_id="apply_dm_passenger_loyalty_ddl",
|
|
postgres_conn_id=GREENPLUM_CONN_ID,
|
|
sql="dm/passenger_loyalty_ddl.sql",
|
|
)
|
|
|
|
# Витрина: Пассажиропоток аэропортов (Этап 4)
|
|
apply_dm_airport_traffic_ddl = PostgresOperator(
|
|
task_id="apply_dm_airport_traffic_ddl",
|
|
postgres_conn_id=GREENPLUM_CONN_ID,
|
|
sql="dm/airport_traffic_ddl.sql",
|
|
)
|
|
|
|
# Витрина: Помесячная сводка (Этап 5)
|
|
apply_dm_monthly_overview_ddl = PostgresOperator(
|
|
task_id="apply_dm_monthly_overview_ddl",
|
|
postgres_conn_id=GREENPLUM_CONN_ID,
|
|
sql="dm/monthly_overview_ddl.sql",
|
|
)
|
|
|
|
# Линейная цепочка
|
|
(
|
|
apply_dm_sales_report_ddl
|
|
>> apply_dm_route_performance_ddl
|
|
>> apply_dm_passenger_loyalty_ddl
|
|
>> apply_dm_airport_traffic_ddl
|
|
>> apply_dm_monthly_overview_ddl
|
|
)
|