ddadmin
f703d8e96d
- Зачем: - Необходим пример загрузки данных из CSV в Greenplum через Airflow - Добавлены проверки качества данных для валидации загруженных данных - Что: - создан DAG csv_to_greenplum для генерации и загрузки CSV в таблицу orders - создан DAG csv_to_greenplum_dq для проверок качества данных - создан DAG ddl_greenplum_base для применения DDL таблицы orders - добавлен модуль helpers/greenplum с функциями подключения и валидации - добавлен SQL-скрипт sql/base/orders_ddl.sql для создания таблицы - добавлены unit-тесты test_greenplum_helpers.py - Проверка: - запуск DAG csv_to_greenplum в Airflow UI - запуск тестов pytest tests/test_greenplum_helpers.py
33 lines
1.0 KiB
Python
33 lines
1.0 KiB
Python
from __future__ import annotations
|
|
|
|
"""
|
|
Учебный DAG: применяет DDL для базовой таблицы orders в Greenplum.
|
|
Запускается вручную перед CSV‑пайплайном или после изменения схемы.
|
|
"""
|
|
|
|
from datetime import datetime, timedelta
|
|
|
|
from airflow.providers.postgres.operators.postgres import PostgresOperator
|
|
|
|
from airflow import DAG
|
|
|
|
GREENPLUM_CONN_ID = "greenplum_conn"
|
|
|
|
default_args = {"owner": "airflow", "retries": 1, "retry_delay": timedelta(seconds=30)}
|
|
|
|
with DAG(
|
|
dag_id="orders_base_ddl",
|
|
start_date=datetime(2017, 1, 1),
|
|
schedule=None,
|
|
catchup=False,
|
|
template_searchpath="/sql",
|
|
default_args=default_args,
|
|
tags=["demo", "greenplum", "ddl", "orders"],
|
|
description="Создаёт/обновляет базовую таблицу orders в схеме public",
|
|
) as dag:
|
|
apply_orders_ddl = PostgresOperator(
|
|
task_id="apply_orders_ddl",
|
|
postgres_conn_id=GREENPLUM_CONN_ID,
|
|
sql="base/orders_ddl.sql",
|
|
)
|