ddadmin
8028711f0c
- Зачем: - адаптация пайплайна для работы с чистым PostgreSQL вместо Greenplum - обеспечение совместимости с учебным стендом на базе Docker Compose - Что: - переименованы файлы (greenplum -> postgres) - обновлены DAG-файлы: замена get_gp_conn на get_postgres_conn, адаптация DDL под PostgreSQL - обновлён helpers/postgres.py: замена функций и переменных окружения - добавлен pytest в requirements.txt для запуска тестов - создан tests/conftest.py с функцией patch_postgres_hook - обновлён tests/test_postgres_helpers.py: исправлены импорты - добавлено монтирование папки tests в docker-compose.yml - адаптирован sql/base/orders_ddl.sql под PostgreSQL - Проверка: - docker-compose exec airflow-webserver pytest /opt/airflow/tests/test_postgres_helpers.py
18 lines
478 B
Plaintext
18 lines
478 B
Plaintext
# Optimized requirements for Airflow Docker setup
|
|
# Only includes packages actually used in DAGs
|
|
|
|
# Core database connector
|
|
psycopg2-binary==2.9.9
|
|
|
|
# Data processing (used in data_processing_dag.py and file_operations_dag.py)
|
|
pandas==2.1.4
|
|
|
|
# Data generation library (used in file_operations_dag.py)
|
|
mimesis==15.1.0
|
|
|
|
# Airflow PostgreSQL provider (used in sql_basic_dag.py and data_processing_dag.py)
|
|
apache-airflow-providers-postgres==5.11.1
|
|
|
|
# Testing framework
|
|
pytest==7.4.4
|