feat(airflow): подключён официальный провайдер ClickHouse
- Зачем: - нужен единый штатный путь исполнения SQL и программных запросов ClickHouse из Airflow. - Что: - добавлен официальный провайдер и подключения типа `clickhouse`. - SQL-файлы переданы `SQLExecuteQueryOperator`, а программные запросы — `ClickHouseHook`. - разбор заказов собран в одном файле, DDL разделён по задачам, документация и смоук обновлены. - Проверка: - выполнены `make lint` и `make config-test`. - собран образ, выполнены `pip check`, `make rebuild-storage`, `make smoke` (21/21), `make check-clickhouse` (10/10) и `make check-services` (7/7).
This commit is contained in:
1 parent
587e392220
commit
8d82679bc1
17 files changed
+393
-438
No files matched your search
@@ -39,24 +39,27 @@
|
||||
конца прогона. Все строки получают `_load_id`, равный `run_id` Airflow.
|
||||
`_load_ts` вычисляется при этой записи и дальше переносится без пересчёта.
|
||||
Запрос забора лежит в [`sql/stg/orders_raw_load.sql`](../../../sql/stg/orders_raw_load.sql):
|
||||
даг задаёт порядок и параметры, а преобразование остаётся в SQL своего слоя.
|
||||
`SQLExecuteQueryOperator` задаёт подключение и передаёт `run_id` как параметр
|
||||
ClickHouse `load_id`, а преобразование остаётся в SQL своего слоя.
|
||||
|
||||
Один следующий `task_id` отвечает за весь переход STG → ODS. Внутри него два
|
||||
последовательных `INSERT SELECT` читают неизменный срез по `_load_id`: первый
|
||||
пишет годные строки в `ods.order`, второй — брак в `ods.order_errors`.
|
||||
Транзакции между запросами нет. При частичном сбое Airflow повторяет весь
|
||||
`task_id`; одинаковые исходные строки и служебные метки не вычисляются заново.
|
||||
Запросы лежат рядом с целями:
|
||||
[`order_load.sql`](../../../sql/ods/order_load.sql) и
|
||||
[`order_errors_load.sql`](../../../sql/ods/order_errors_load.sql).
|
||||
Обе вставки лежат в одном самодостаточном файле
|
||||
[`order_parse.sql`](../../../sql/ods/order_parse.sql). Airflow сначала
|
||||
шаблонизирует файл, затем делит получившийся SQL на выражения и исполняет их по
|
||||
порядку в одной задаче `parse_batch`.
|
||||
|
||||
Условия запросов взаимодополняющие: один общий предикат определяет брак, а
|
||||
годная ветвь использует его буквальное отрицание. Все функции предиката
|
||||
Условия запросов взаимодополняющие: один общий предикат определяет годную
|
||||
строку, а ветвь брака использует его буквальное отрицание. Все функции предиката
|
||||
возвращают результат без исключения, а сам предикат всегда заканчивается в
|
||||
`true` или `false`, не в `NULL`. Постоянный классификатор между STG и ODS для
|
||||
этого не нужен. Обе ветви включают один файл
|
||||
[`_order_wire_contract.sql`](../../../sql/ods/_order_wire_contract.sql), поэтому
|
||||
предикат нельзя случайно исправить только в одной из них.
|
||||
этого не нужен. Предикат объявлен локальным макросом Jinja внутри
|
||||
`order_parse.sql` и разворачивается в оба выражения. Макрос убирает
|
||||
дублирование, но не вводит отдельный фрагмент, который нельзя исполнить
|
||||
самостоятельно.
|
||||
|
||||
## Граница строгого приёма
|
||||
|
||||
@@ -178,6 +181,11 @@ JSON-объектом с точным набором ключей: `order_id`, `
|
||||
`20260608-0007`, который прежде приходил с отрицательным итогом, теперь
|
||||
`5490.00 − 823.50 + 299.00 = 4965.50`.
|
||||
|
||||
При исполнении #124 21 августа 2026 года адресная пересборка мира прошла через
|
||||
`SQLExecuteQueryOperator`: `pull_batch` и `parse_batch` завершились успешно. В
|
||||
`system.query_log` на первой ноде осталось ровно по одному завершённому запросу
|
||||
пользователя `etl` для забора в STG, записи годных строк и записи брака.
|
||||
|
||||
Забор из Kafka в STG снят на живом стенде 18 августа 2026 года при исполнении
|
||||
#93: одно прямое чтение приносит весь слепок дня, метаданные доставки доступны,
|
||||
офсеты коммитятся, а сбой забора не двигает позицию мира. Числа — [ADR
|
||||
|
||||
Reference in new issue
Block a user