feat(airflow): подключён официальный провайдер ClickHouse
- Зачем: - нужен единый штатный путь исполнения SQL и программных запросов ClickHouse из Airflow. - Что: - добавлен официальный провайдер и подключения типа `clickhouse`. - SQL-файлы переданы `SQLExecuteQueryOperator`, а программные запросы — `ClickHouseHook`. - разбор заказов собран в одном файле, DDL разделён по задачам, документация и смоук обновлены. - Проверка: - выполнены `make lint` и `make config-test`. - собран образ, выполнены `pip check`, `make rebuild-storage`, `make smoke` (21/21), `make check-clickhouse` (10/10) и `make check-services` (7/7).
This commit is contained in:
1 parent
587e392220
commit
8d82679bc1
17 files changed
+393
-438
No files matched your search
+2
-2
@@ -79,8 +79,8 @@ x-airflow-common: &airflow-common
|
||||
KAFKA_ORDERS_TOPIC: *orders-topic
|
||||
volumes:
|
||||
- ./dags:/opt/airflow/dags:ro
|
||||
# Запросы дагов: даг называет файл, а текст читает Airflow при исполнении
|
||||
# задачи. Каталог тот же, что применяет DDL, — вся SQL стенда живёт в sql/.
|
||||
# Запросы дагов: даг называет файл, а обработчик DAG при разборе загружает
|
||||
# его текст. Каталог тот же, что применяет DDL, — вся SQL стенда живёт в sql/.
|
||||
- ./sql:/opt/airflow/sql:ro
|
||||
# Инициализация мира собирает канонический образ из того же контекста, что
|
||||
# ручной generator. Docker SDK архивирует эти файлы внутри задачи.
|
||||
|
||||
Reference in new issue
Block a user