- Зачем:
- менти жаловался на слабую детализацию заданий, непонятные формулировки
(«ключевые метрики бизнеса», «мониторинг и логирование») и нереалистичное время.
- Что:
- убрано время выполнения из всех заданий.
- добавлены лаконичные подсказки: куда смотреть, какой API использовать, подводные камни.
- переписано задание 2 для data_processing_dag (было «дашборд с HTML» → «расширение текстового отчёта»).
- переписано задание 3 для error_handling_dag (было абстрактный «мониторинг» → конкретное «logging вместо print»).
- Проверка:
- вычитка документа, проверка что подсказки не содержат готовых решений.
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
- Зачем:
- убрать мелкие противоречия между спецификациями, учебным планом и заданиями.
- сделать сценарий csv_to_postgres и csv_to_postgres_dq понятнее для студентов.
- Что:
- уточнено, что csv_to_postgres отвечает за загрузку и предпросмотр данных, а DQ вынесен в отдельный DAG.
- добавлены явные указания про каталог data/output и соединение postgres_training.
- исправлены ссылки на задачу data_quality_summary в учебных заданиях.
- Проверка:
- git diff -- airflow-docker/dag-specifications.md airflow-docker/educational-setup-plan.md airflow-docker/educational-tasks.md.
- Зачем:
- сделать примеры более доступными для начинающих, убрав лишнюю архитектурную сложность (хелперы, внешние SQL файлы).
- сфокусировать обучение на самом Airflow, а не на структуре Python-проекта.
- Что:
- консолидирована логика: DDL и вспомогательные функции перенесены из helpers/ и sql/ напрямую в csv_to_postgres.py и csv_to_postgres_dq.py.
- удалена избыточная инфраструктура: папки sql/, tests/, helpers/ и файл requirements.txt больше не содержат специфичных для этого пайплайна файлов.
- упрощена работа с БД: использование PostgresHook напрямую в задачах вместо кастомных оберток.
- исправлен порт PostgreSQL для метаданных Airflow (5433 → 5434) в README.md и educational-setup-plan.md.
- изменен путь генерации CSV на /opt/airflow/data/output в csv_to_postgres.py.
- добавлен шаблон data/*.csv в .gitignore.
- обновлен комментарий в sql_basic_dag.py о создании соединения.
- исправлено описание практического задания в educational-tasks.md.
- добавлены переводы строк в конце файлов csv_to_postgres.py и educational-setup-plan.md.
- Проверка:
- запуск DAG-ов csv_to_postgres и csv_to_postgres_dq в Airflow UI.
- Зачем:
- необходимо отразить в документации новый пайплайн загрузки CSV в PostgreSQL.
- студентам нужны конкретные задания для закрепления навыков ETL и Data Quality.
- Что:
- обновлен README.md: добавлено описание новых DAG-ов, папок sql/ и tests/, актуализирован путь обучения.
- обновлен educational-tasks.md: добавлены 4 новых задания (ETL, PostgresOperator, DQ проверки, Trigger Rules) и обновлен блок оценки прогресса.
- Проверка:
- визуальная проверка файлов README.md и educational-tasks.md в репозитории.
ddadminandClaude Opus 4.6