refactor(dags): миграция CSV-пайплайна с Greenplum на PostgreSQL

- Зачем:
  - адаптация пайплайна для работы с чистым PostgreSQL вместо Greenplum
  - обеспечение совместимости с учебным стендом на базе Docker Compose
- Что:
  - переименованы файлы (greenplum -> postgres)
  - обновлены DAG-файлы: замена get_gp_conn на get_postgres_conn, адаптация DDL под PostgreSQL
  - обновлён helpers/postgres.py: замена функций и переменных окружения
  - добавлен pytest в requirements.txt для запуска тестов
  - создан tests/conftest.py с функцией patch_postgres_hook
  - обновлён tests/test_postgres_helpers.py: исправлены импорты
  - добавлено монтирование папки tests в docker-compose.yml
  - адаптирован sql/base/orders_ddl.sql под PostgreSQL
- Проверка:
  - docker-compose exec airflow-webserver pytest /opt/airflow/tests/test_postgres_helpers.py

This commit is contained in:

ddadmin

2026-03-08 19:51:15 +03:00

parent f703d8e96d

commit 8028711f0c

9 changed files with 119 additions and 90 deletions

airflow-docker/requirements.txt

View File

@@ -12,3 +12,6 @@ mimesis==15.1.0
 # Airflow PostgreSQL provider (used in sql_basic_dag.py and data_processing_dag.py)
 apache-airflow-providers-postgres==5.11.1
 # Testing framework
 pytest==7.4.4