feat(airflow): подключён официальный провайдер ClickHouse
- Зачем: - нужен единый штатный путь исполнения SQL и программных запросов ClickHouse из Airflow. - Что: - добавлен официальный провайдер и подключения типа `clickhouse`. - SQL-файлы переданы `SQLExecuteQueryOperator`, а программные запросы — `ClickHouseHook`. - разбор заказов собран в одном файле, DDL разделён по задачам, документация и смоук обновлены. - Проверка: - выполнены `make lint` и `make config-test`. - собран образ, выполнены `pip check`, `make rebuild-storage`, `make smoke` (21/21), `make check-clickhouse` (10/10) и `make check-services` (7/7).
This commit is contained in:
1 parent
587e392220
commit
8d82679bc1
17 files changed
+393
-438
No files matched your search
@@ -235,6 +235,21 @@ Kafka → STG → ODS, и живёт он в `make check-clickhouse`.
|
||||
|
||||
## Что проверено
|
||||
|
||||
**Перезамер 21 августа 2026 года при исполнении #124.** Образ Airflow собран с
|
||||
`apache-airflow-providers-clickhousedb==1.0.0`,
|
||||
`apache-airflow-providers-common-sql==2.0.1` и
|
||||
`clickhouse-connect==1.6.0`; `pip check` не нашёл несовместимых зависимостей.
|
||||
Адресная пересборка мира через `make rebuild-storage` заняла 3 м 5 с: все шесть
|
||||
задач DDL, `pull_batch` и `parse_batch` завершились успешно. После неё прошли
|
||||
смоук 21/21 за 17 с, проверка ClickHouse 10/10 и межсервисная проверка 7/7 за
|
||||
100 с.
|
||||
|
||||
Первый `make up` после замены образа попал в короткий рассинхрон запуска
|
||||
Airflow: API уже сообщил о здоровье и отдал `world_initialize` по GET, но POST
|
||||
нового запуска ещё ответил `Dag with dag_id not found`. Ошибок импорта не было;
|
||||
через несколько секунд повторный `make up` завершился успешно и не менял
|
||||
готовый мир.
|
||||
|
||||
**Перезамер 21 августа 2026 года при исполнении #114.** После добавления
|
||||
`kafka-exporter` и источника ClickHouse смоук прошёл 21/21 за 16–17 секунд,
|
||||
`check-services` — 7/7 за 93 секунды. При остановленном экспортёре смоук дал
|
||||
|
||||
Reference in new issue
Block a user