feat(dm): добавлена эталонная витрина dm.sales_report
- Зачем: - требуется эталонная витрина для обучения паттернам DM-слоя - демонстрация UPSERT-логики с IS DISTINCT FROM для идемпотентности - Что: - DDL: heap-таблица dm.sales_report с 18 полями, DISTRIBUTED BY (flight_date) - Load: UPSERT (UPDATE + INSERT) с JOIN dim_calendar, dim_airports (x2), dim_tariffs, fact_flight_sales - DQ: PL/pgSQL DO $$ с проверками непустоты, уникальности, tickets_sold >= passengers_boarded, boarding_rate BETWEEN 0 AND 1 - DAGs: bookings_dm_ddl (DDL), bookings_to_gp_dm (ETL + DQ с параллельными ветками) - Tests: smoke-тесты для обоих DAG - sql/ddl_gp.sql: добавлен \i dm/sales_report_ddl.sql - Проверка: - make fmt && make lint — passed - make test — 15 passed, 11 skipped - make ddl-gp — DDL applied successfully - airflow dags test bookings_to_gp_dm 2026-02-28T13:00:00 — 4 tasks SUCCESS - 9243 rows loaded, _load_id подставлен корректно (Jinja2 templating works) - DQ checks passed
This commit is contained in:
@@ -0,0 +1,51 @@
|
||||
from __future__ import annotations
|
||||
|
||||
"""
|
||||
Учебный DAG: создаёт/обновляет DM-слой (Data Mart) в Greenplum для домена bookings.
|
||||
|
||||
Запускается вручную перед DAG загрузки `bookings_to_gp_dm` или после изменения DM DDL.
|
||||
Создаёт 5 DM-витрин: sales_report, route_performance, passenger_loyalty,
|
||||
airport_traffic, monthly_overview.
|
||||
|
||||
На данном этапе реализована только эталонная витрина sales_report.
|
||||
Остальные витрины будут добавлены в последующих этапах.
|
||||
"""
|
||||
|
||||
from datetime import timedelta
|
||||
|
||||
import pendulum
|
||||
from airflow.providers.postgres.operators.postgres import PostgresOperator
|
||||
|
||||
from airflow import DAG
|
||||
|
||||
GREENPLUM_CONN_ID = "greenplum_conn"
|
||||
|
||||
default_args = {"owner": "airflow", "retries": 1, "retry_delay": timedelta(seconds=30)}
|
||||
|
||||
with DAG(
|
||||
dag_id="bookings_dm_ddl",
|
||||
start_date=pendulum.datetime(2024, 1, 1, tz="UTC"),
|
||||
schedule=None,
|
||||
catchup=False,
|
||||
template_searchpath="/sql",
|
||||
default_args=default_args,
|
||||
tags=["demo", "greenplum", "ddl", "bookings", "dm"],
|
||||
description="Учебный DDL DAG: создаёт/обновляет dm.* для bookings",
|
||||
) as dag:
|
||||
# Эталонная витрина: sales_report
|
||||
apply_dm_sales_report_ddl = PostgresOperator(
|
||||
task_id="apply_dm_sales_report_ddl",
|
||||
postgres_conn_id=GREENPLUM_CONN_ID,
|
||||
sql="dm/sales_report_ddl.sql",
|
||||
)
|
||||
|
||||
# Заглушки для будущих витрин (будут реализованы в этапах 2-5)
|
||||
# apply_dm_route_performance_ddl = PostgresOperator(...)
|
||||
# apply_dm_passenger_loyalty_ddl = PostgresOperator(...)
|
||||
# apply_dm_airport_traffic_ddl = PostgresOperator(...)
|
||||
# apply_dm_monthly_overview_ddl = PostgresOperator(...)
|
||||
|
||||
# Линейная цепочка (пока только одна витрина)
|
||||
# В будущем: sales_report >> route_performance >> passenger_loyalty
|
||||
# >> airport_traffic >> monthly_overview
|
||||
apply_dm_sales_report_ddl
|
||||
Reference in New Issue
Block a user