refactor(airflow): move DAGs to airflow/dags and update paths

- Why:
  - keep Airflow artifacts under a single airflow/ directory
  - align repository layout with intended project structure
- What:
  - move dags/ to airflow/dags/ and update compose mounts
  - make SQL root resolution work in container and local runs
  - update DAG path references in README, AGENTS, ARCHITECTURE, and plans
  - remove tracked Python cache artifacts from old DAG location
- Check:
  - airflow dags list
  - airflow dags list-import-errors
  - e2e success: ddl_init, kafka_load(limit=50), etl_pipeline
This commit is contained in:
2026-02-08 19:34:10 +03:00
parent 44a75691e8
commit 869c189fe8
14 changed files with 41 additions and 17 deletions
+5 -5
View File
@@ -20,11 +20,11 @@
## Ключевые артефакты
### Исполняемые файлы (текущая структура)
- `dags/` — Airflow DAGs для оркестрации ETL:
- `dags/ddl_init_dag.py` — инициализация схемы ClickHouse
- `dags/etl_pipeline_dag.py` — ETL процесс STG → ODS → DDS → DM
- `dags/kafka_load_dag.py` — загрузка данных в Kafka из JSONL
- `dags/utils/kafka_helpers.py` — helper-функции для работы с Kafka
- `airflow/dags/` — Airflow DAGs для оркестрации ETL:
- `airflow/dags/ddl_init_dag.py` — инициализация схемы ClickHouse
- `airflow/dags/etl_pipeline_dag.py` — ETL процесс STG → ODS → DDS → DM
- `airflow/dags/kafka_load_dag.py` — загрузка данных в Kafka из JSONL
- `airflow/dags/utils/kafka_helpers.py` — helper-функции для работы с Kafka
- `sql/` — SQL по слоям:
- `sql/ddl/00_databases.sql` — создание БД stg/ods/dds/dm
- `sql/ddl/stg/10_stg.sql` — STG слой (Kafka Engine + MV)