feat(dags): add ddl dag for gp and rename csv dq

airflow/dags/bookings_stg_ddl.py

@@ -0,0 +1,30 @@
+from __future__ import annotations
+
+"""
+Учебный DAG: создаёт схему stg и таблицы bookings_ext/bookings в Greenplum.
+Запускается вручную перед DAG загрузки bookings_to_gp_stage или после изменения DDL.
+"""
+
+from datetime import datetime, timedelta
+
+from airflow import DAG
+from airflow.providers.postgres.operators.postgres import PostgresOperator
+
+GREENPLUM_CONN_ID = "greenplum_conn"
+
+default_args = {"owner": "airflow", "retries": 1, "retry_delay": timedelta(seconds=30)}
+
+with DAG(
+    dag_id="bookings_stg_ddl",
+    start_date=datetime(2024, 1, 1),
+    schedule=None,
+    catchup=False,
+    default_args=default_args,
+    tags=["demo", "greenplum", "ddl", "bookings", "stg"],
+    description="Создаёт/обновляет stg.bookings_ext и stg.bookings для учебного DAG",
+) as dag:
+    apply_stg_bookings_ddl = PostgresOperator(
+        task_id="apply_stg_bookings_ddl",
+        postgres_conn_id=GREENPLUM_CONN_ID,
+        sql="/sql/stg/bookings_ddl.sql",
+    )

airflow/dags/csv_to_greenplum_dq.py

@@ -3,20 +3,23 @@ from __future__ import annotations
 import logging
 from datetime import datetime, timedelta
 
-from airflow.operators.python import PythonOperator
-from helpers.greenplum import (assert_orders_have_rows,
-                               assert_orders_no_duplicates,
-                               assert_orders_schema,
-                               assert_orders_table_exists, get_gp_conn)
-
 from airflow import DAG
+from airflow.operators.python import PythonOperator
+from helpers.greenplum import (
+    assert_orders_have_rows,
+    assert_orders_no_duplicates,
+    assert_orders_schema,
+    assert_orders_table_exists,
+    get_gp_conn,
+)
 
 
 def _run_check(check_callable):
     """
     Оборачивает проверку качества данных в контекст подключения к Greenplum.
 
-    Этот DAG предназначен для автоматической проверки качества данных в таблице orders:
+    Этот DAG предназначен для автоматической проверки качества данных
+    после CSV-пайплайна в таблице public.orders:
     1. Проверяет существование таблицы
     2. Проверяет соответствие схемы
     3. Проверяет наличие данных
@@ -47,13 +50,13 @@ def _log_dq_summary():
 default_args = {"owner": "airflow", "retries": 1, "retry_delay": timedelta(seconds=30)}
 
 with DAG(
-    dag_id="greenplum_data_quality",
+    dag_id="csv_to_greenplum_dq",
     start_date=datetime(2024, 1, 1),
     schedule=None,
     catchup=False,
     default_args=default_args,
-    tags=["demo", "greenplum", "quality"],
-    description="Автоматизированные проверки качества данных в Greenplum",
+    tags=["demo", "greenplum", "quality", "csv", "dq"],
+    description="Проверки качества данных после CSV → public.orders в Greenplum",
 ) as dag:
     # Задача 1: Проверка существования таблицы
     check_exists = PythonOperator(

airflow/dags/ddl_greenplum_base.py

@@ -0,0 +1,30 @@
+from __future__ import annotations
+
+"""
+Учебный DAG: применяет DDL для базовой таблицы orders в Greenplum.
+Запускается вручную перед CSV‑пайплайном или после изменения схемы.
+"""
+
+from datetime import datetime, timedelta
+
+from airflow import DAG
+from airflow.providers.postgres.operators.postgres import PostgresOperator
+
+GREENPLUM_CONN_ID = "greenplum_conn"
+
+default_args = {"owner": "airflow", "retries": 1, "retry_delay": timedelta(seconds=30)}
+
+with DAG(
+    dag_id="orders_base_ddl",
+    start_date=datetime(2024, 1, 1),
+    schedule=None,
+    catchup=False,
+    default_args=default_args,
+    tags=["demo", "greenplum", "ddl", "orders"],
+    description="Создаёт/обновляет базовую таблицу orders в схеме public",
+) as dag:
+    apply_orders_ddl = PostgresOperator(
+        task_id="apply_orders_ddl",
+        postgres_conn_id=GREENPLUM_CONN_ID,
+        sql="/sql/base/orders_ddl.sql",
+    )