ddadmin
af6b0a9fae
- Зачем: - сделать примеры более доступными для начинающих, убрав лишнюю архитектурную сложность (хелперы, внешние SQL файлы). - сфокусировать обучение на самом Airflow, а не на структуре Python-проекта. - Что: - консолидирована логика: DDL и вспомогательные функции перенесены из helpers/ и sql/ напрямую в csv_to_postgres.py и csv_to_postgres_dq.py. - удалена избыточная инфраструктура: папки sql/, tests/, helpers/ и файл requirements.txt больше не содержат специфичных для этого пайплайна файлов. - упрощена работа с БД: использование PostgresHook напрямую в задачах вместо кастомных оберток. - исправлен порт PostgreSQL для метаданных Airflow (5433 → 5434) в README.md и educational-setup-plan.md. - изменен путь генерации CSV на /opt/airflow/data/output в csv_to_postgres.py. - добавлен шаблон data/*.csv в .gitignore. - обновлен комментарий в sql_basic_dag.py о создании соединения. - исправлено описание практического задания в educational-tasks.md. - добавлены переводы строк в конце файлов csv_to_postgres.py и educational-setup-plan.md. - Проверка: - запуск DAG-ов csv_to_postgres и csv_to_postgres_dq в Airflow UI.
16 lines
444 B
Plaintext
16 lines
444 B
Plaintext
# Optimized requirements for Airflow Docker setup
|
|
# Only includes packages actually used in DAGs
|
|
|
|
# Core database connector
|
|
psycopg2-binary==2.9.9
|
|
|
|
# Data processing (used in data_processing_dag.py and file_operations_dag.py)
|
|
pandas==2.1.4
|
|
|
|
# Data generation library (used in file_operations_dag.py)
|
|
mimesis==15.1.0
|
|
|
|
# Airflow PostgreSQL provider (used in sql_basic_dag.py and data_processing_dag.py)
|
|
apache-airflow-providers-postgres==5.11.1
|
|
|