- Зачем:
- Необходим пример загрузки данных из CSV в Greenplum через Airflow
- Добавлены проверки качества данных для валидации загруженных данных
- Что:
- создан DAG csv_to_greenplum для генерации и загрузки CSV в таблицу orders
- создан DAG csv_to_greenplum_dq для проверок качества данных
- создан DAG ddl_greenplum_base для применения DDL таблицы orders
- добавлен модуль helpers/greenplum с функциями подключения и валидации
- добавлен SQL-скрипт sql/base/orders_ddl.sql для создания таблицы
- добавлены unit-тесты test_greenplum_helpers.py
- Проверка:
- запуск DAG csv_to_greenplum в Airflow UI
- запуск тестов pytest tests/test_greenplum_helpers.py
- Зачем:
- старая ссылка на изображение была нерабочей, пользователю не хватало визуализации связей DAG, задач и операторов.
- Что:
- добавлена Mermaid-диаграмма в стиле flowchart LR.
- визуализирована структура DAG как контейнера с последовательностью задач.
- показана связь каждой задачи с её технической реализацией (Operator/Sensor) через пунктирные линии.
- Проверка:
- визуальный осмотр рендеринга Mermaid в Markdown-превью.
ddadmin