feat(airflow): пробные DAG test_clickhouse и test_kafka вместо демонстрационного
Зачем. Демонстрационный DAG example_clickstream_hello ничего не проверял: он не обращался ни к ClickHouse, ни к Kafka, поэтому его зелёный результат ничего не говорил о стенде. Пробники проверяют связи по-настоящему — и тем же клиентом, каким будут ходить рабочие DAG. Что. - test_clickhouse: пишет строку в ReplicatedMergeTree на ноде 1 и читает её с ноды 2 через Distributed. Данные проходят путь «нода 2 → все шарды → шард ноды 1», то есть проверяется межшардовое чтение, а не одна нода. - test_kafka: пишет в постоянный топик сообщение с меткой прогона и вычитывает его обратно. - infra/airflow/Dockerfile: clickhouse-connect 1.6.0 и confluent-kafka 2.15.0 вшиты в образ, импорт проверяется на сборке — при запуске контейнера пакеты не доустанавливаются. - Проверки: scripts/stand-smoke.sh гоняет оба пробника через API Airflow, scripts/config-test.sh разбирает DAG без стенда, tests/stand-smoke-guards.sh проверяет красный путь, tests/dag-probes-unit.py — модульные проверки разбора. - README и ADR 0001 обновлены тем же изменением. - Удалён dags/example_clickstream_hello.py. Проверка. make config-test — пройдено 3, 3 и 6, ошибок 0. make clean; cp .env.example .env; make up — 116 с на чистых томах. make smoke — пройдено 25, ошибок 0; стенд занимает 2244,0 MiB. make smoke-cluster — все 8 проверок кластера. Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
This commit is contained in:
@@ -7,7 +7,7 @@
|
||||
Стенд использует Airflow 3.3.0 с LocalExecutor. Airflow разделён на
|
||||
одноразовый `airflow-init` и три долгоживущих процесса: API, планировщик и
|
||||
обработчик DAG. Triggerer не запускается: в каркасе нет отложенных задач.
|
||||
Пример DAG написан через публичный `airflow.sdk`.
|
||||
Два интеграционных пробника написаны через публичный `airflow.sdk`.
|
||||
|
||||
Для входа выбран SimpleAuthManager. У него нет команды создания пользователя,
|
||||
поэтому `airflow-init` записывает пароль администратора из окружения в
|
||||
@@ -25,9 +25,16 @@ JSON-файл отдельного тома `airflow_auth`. Новый имен
|
||||
|
||||
Airflow получает подготовленное общее подключение к `clickhouse-01`, а
|
||||
Superset — подключение `clickhousedb://` к `clickhouse-02`. Провайдер
|
||||
ClickHouse для Airflow пока не нужен. Разные ноды создают учебную ловушку:
|
||||
забытый `ON CLUSTER` проявится в Superset, даже если операция Airflow на первой
|
||||
ноде прошла успешно.
|
||||
ClickHouse для Airflow не нужен: локальный образ содержит прямой клиент.
|
||||
Пробник создаёт служебные таблицы `ON CLUSTER`, пишет на первой ноде и через
|
||||
`remote` читает `Distributed` на второй. Разные ноды сохраняют учебную
|
||||
ловушку: забытый `ON CLUSTER` проявится в Superset, даже если операция Airflow
|
||||
на первой ноде прошла успешно.
|
||||
|
||||
Клиент Kafka также добавлен прямо в образ Airflow. Официальный провайдер
|
||||
использует тот же `confluent-kafka`, а пробнику не нужны его подключение,
|
||||
операторы и обёртки. Топик пробника постоянный, сообщение каждого запуска
|
||||
отличается уникальным маркером.
|
||||
|
||||
Superset собирается от `apache/superset:6.1.0`. В образ добавлены
|
||||
`clickhouse-connect` для ClickHouse и `psycopg2-binary` для метаданных
|
||||
@@ -61,6 +68,11 @@ Prometheus читает встроенные точки метрик двух с
|
||||
Оттуда взяты `airflow.sdk`, обязательный отдельный обработчик DAG, возможность
|
||||
не запускать triggerer и проверка конкретных компонентов здоровья.
|
||||
|
||||
Для интеграционных пробников проверены `Connection.get` в публичном
|
||||
`airflow.sdk`, запросы через `clickhouse-connect` и состав официального
|
||||
провайдера Kafka. Выбран прямой `confluent-kafka`: провайдер строит свои
|
||||
подключения и обёртки поверх него, которые двум коротким пробникам не нужны.
|
||||
|
||||
Драйверы и строки подключения проверены по документации Superset 6.1.0:
|
||||
[подключения к базам](https://superset.apache.org/user-docs/6.1.0/databases/),
|
||||
[ClickHouse](https://superset.apache.org/user-docs/databases/supported/clickhouse/)
|
||||
|
||||
Reference in New Issue
Block a user