refactor(orders): SQL приёма вынесен из DAG
- Зачем: - преобразования хранилища должны читаться рядом с целевым слоем, а DAG должен показывать оркестрацию. - Что: - запросы забора и разбора заказов разложены по каталогам STG и ODS. - общий контракт провода подключён в обе ветви штатным шаблонизатором Airflow. - SQL смонтирован во все службы Airflow, а правило раскладки записано в архитектуре. - Проверка: - make lint config-test smoke check-services. - airflow tasks render для pull_batch и parse_batch; airflow tasks test для parse_batch.
This commit is contained in:
@@ -71,6 +71,9 @@ x-airflow-common: &airflow-common
|
||||
KAFKA_ORDERS_TOPIC: orders
|
||||
volumes:
|
||||
- ./dags:/opt/airflow/dags:ro
|
||||
# Запросы дагов: даг называет файл, а текст читает Airflow при исполнении
|
||||
# задачи. Каталог тот же, что применяет DDL, — вся SQL стенда живёт в sql/.
|
||||
- ./sql:/opt/airflow/sql:ro
|
||||
- ./infra/airflow/init.sh:/opt/airflow/init.sh:ro
|
||||
- airflow_logs:/opt/airflow/logs
|
||||
- airflow_auth:/opt/airflow/auth
|
||||
@@ -391,6 +394,7 @@ services:
|
||||
volumes:
|
||||
- /var/run/docker.sock:/var/run/docker.sock
|
||||
- ./dags:/opt/airflow/dags:ro
|
||||
- ./sql:/opt/airflow/sql:ro
|
||||
- ./infra/airflow/init.sh:/opt/airflow/init.sh:ro
|
||||
- airflow_logs:/opt/airflow/logs
|
||||
- airflow_auth:/opt/airflow/auth
|
||||
|
||||
Reference in New Issue
Block a user