refactor(manual): упрощение архитектуры учебного пайплайна и документации

- Зачем:
  - сделать примеры более доступными для начинающих, убрав лишнюю архитектурную сложность (хелперы, внешние SQL файлы).
  - сфокусировать обучение на самом Airflow, а не на структуре Python-проекта.
- Что:
  - консолидирована логика: DDL и вспомогательные функции перенесены из helpers/ и sql/ напрямую в csv_to_postgres.py и csv_to_postgres_dq.py.
  - удалена избыточная инфраструктура: папки sql/, tests/, helpers/ и файл requirements.txt больше не содержат специфичных для этого пайплайна файлов.
  - упрощена работа с БД: использование PostgresHook напрямую в задачах вместо кастомных оберток.
  - исправлен порт PostgreSQL для метаданных Airflow (5433 → 5434) в README.md и educational-setup-plan.md.
  - изменен путь генерации CSV на /opt/airflow/data/output в csv_to_postgres.py.
  - добавлен шаблон data/*.csv в .gitignore.
  - обновлен комментарий в sql_basic_dag.py о создании соединения.
  - исправлено описание практического задания в educational-tasks.md.
  - добавлены переводы строк в конце файлов csv_to_postgres.py и educational-setup-plan.md.
- Проверка:
  - запуск DAG-ов csv_to_postgres и csv_to_postgres_dq в Airflow UI.

This commit is contained in:

ddadmin

2026-03-08 21:38:59 +03:00

parent 24ee9f65f0

commit af6b0a9fae

15 changed files with 144 additions and 572 deletions

									
										airflow-docker/educational-setup-plan.md
									
		+2
		-2
	
												View File
												
				@@ -26,7 +26,7 @@ services:

				      POSTGRES_PASSWORD: airflow

				      POSTGRES_DB: airflow

				    ports:

				      - "5433:5432"

				      - "5434:5432"

				    volumes:

				      - pgmeta:/var/lib/postgresql/data

				@@ -147,4 +147,4 @@ Each DAG will include:

				- Docker and Docker Compose

				- Basic Python knowledge

				- Basic SQL knowledge

				- Web browser for Airflow UI

				- Web browser for Airflow UI