refactor(airflow): move DAGs to airflow/dags and update paths
- Why: - keep Airflow artifacts under a single airflow/ directory - align repository layout with intended project structure - What: - move dags/ to airflow/dags/ and update compose mounts - make SQL root resolution work in container and local runs - update DAG path references in README, AGENTS, ARCHITECTURE, and plans - remove tracked Python cache artifacts from old DAG location - Check: - airflow dags list - airflow dags list-import-errors - e2e success: ddl_init, kafka_load(limit=50), etl_pipeline
This commit is contained in:
@@ -20,11 +20,11 @@
|
||||
## Ключевые артефакты
|
||||
|
||||
### Исполняемые файлы (текущая структура)
|
||||
- `dags/` — Airflow DAGs для оркестрации ETL:
|
||||
- `dags/ddl_init_dag.py` — инициализация схемы ClickHouse
|
||||
- `dags/etl_pipeline_dag.py` — ETL процесс STG → ODS → DDS → DM
|
||||
- `dags/kafka_load_dag.py` — загрузка данных в Kafka из JSONL
|
||||
- `dags/utils/kafka_helpers.py` — helper-функции для работы с Kafka
|
||||
- `airflow/dags/` — Airflow DAGs для оркестрации ETL:
|
||||
- `airflow/dags/ddl_init_dag.py` — инициализация схемы ClickHouse
|
||||
- `airflow/dags/etl_pipeline_dag.py` — ETL процесс STG → ODS → DDS → DM
|
||||
- `airflow/dags/kafka_load_dag.py` — загрузка данных в Kafka из JSONL
|
||||
- `airflow/dags/utils/kafka_helpers.py` — helper-функции для работы с Kafka
|
||||
- `sql/` — SQL по слоям:
|
||||
- `sql/ddl/00_databases.sql` — создание БД stg/ods/dds/dm
|
||||
- `sql/ddl/stg/10_stg.sql` — STG слой (Kafka Engine + MV)
|
||||
|
||||
Reference in New Issue
Block a user