Подключить официальный провайдер ClickHouse к Airflow #126

2026-08-22T09:21:18+03:00

ddmitry commented

2026-08-22 09:21:18 +03:00

Closes #124

Что

Добавлен apache-airflow-providers-clickhousedb; оба подключения Airflow получили тип clickhouse.
Исполняемые SQL-файлы переданы SQLExecuteQueryOperator, программные запросы — ClickHouseHook.
Разбор заказов собран в одном order_parse.sql с локальным макросом Jinja; DDL представлен шестью последовательными задачами.
run-dag.sh повторяет только безопасный стартовый 404 Airflow и не повторяет сетевые ошибки, чтобы не создать второй запуск.
Документация и быстрый смоук приведены к новому пути подключения.

Проверка

make lint
make config-test
сборка образа и pip check
make rebuild-storage
make smoke — 21/21
make check-clickhouse — 10/10
make check-services — 7/7
холодный make up и изолированные сценарии повторов REST API

Ревью

Код и линия уместности проверены Opus в продолженных сессиях через --resume. Подтверждённые находки исправлены и перепроверены; финальное ревью защиты от гонки дефектов не нашло.

Closes #124 ## Что - Добавлен apache-airflow-providers-clickhousedb; оба подключения Airflow получили тип clickhouse. - Исполняемые SQL-файлы переданы SQLExecuteQueryOperator, программные запросы — ClickHouseHook. - Разбор заказов собран в одном order_parse.sql с локальным макросом Jinja; DDL представлен шестью последовательными задачами. - run-dag.sh повторяет только безопасный стартовый 404 Airflow и не повторяет сетевые ошибки, чтобы не создать второй запуск. - Документация и быстрый смоук приведены к новому пути подключения. ## Проверка - make lint - make config-test - сборка образа и pip check - make rebuild-storage - make smoke — 21/21 - make check-clickhouse — 10/10 - make check-services — 7/7 - холодный make up и изолированные сценарии повторов REST API ## Ревью Код и линия уместности проверены Opus в продолженных сессиях через --resume. Подтверждённые находки исправлены и перепроверены; финальное ревью защиты от гонки дефектов не нашло.

ddmitry self-assigned this 2026-08-22 09:21:18 +03:00

ddmitry added 2 commits 2026-08-22 09:21:23 +03:00

feat(airflow): подключён официальный провайдер ClickHouse 8d82679bc1

- Зачем:
  - нужен единый штатный путь исполнения SQL и программных запросов ClickHouse из Airflow.
- Что:
  - добавлен официальный провайдер и подключения типа `clickhouse`.
  - SQL-файлы переданы `SQLExecuteQueryOperator`, а программные запросы — `ClickHouseHook`.
  - разбор заказов собран в одном файле, DDL разделён по задачам, документация и смоук обновлены.
- Проверка:
  - выполнены `make lint` и `make config-test`.
  - собран образ, выполнены `pip check`, `make rebuild-storage`, `make smoke` (21/21), `make check-clickhouse` (10/10) и `make check-services` (7/7).

fix(airflow): добавлен повтор запуска DAG после индексации 20b0666d28

- Зачем:
  - при холодном старте GET уже видел DAG, пока POST запуска ещё считал его устаревшим.
- Что:
  - точный стартовый ответ 404 повторяется до двадцати раз с паузой три секунды.
  - прочие ответы и сетевые ошибки завершают команду без риска двойного запуска.
  - граница повторов объяснена в коде и документации проверок.
- Проверка:
  - выполнены `bash -n scripts/run-dag.sh`, `make config-test` и изолированные сценарии ответов API.
  - выполнены холодный `make up`, `make lint` и `make smoke` (21/21).

ddmitry merged commit ea39982bdd into main

2026-08-22 10:06:07 +03:00

ddmitry deleted branch 124-airflow-clickhouse-provider

2026-08-22 10:06:07 +03:00

Sign in to join this conversation.

1 Participants

Notifications

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: ddmitry/clickstream-data-platform#126