feat(airflow): пробные DAG test_clickhouse и test_kafka вместо демонстрационного
Зачем. Демонстрационный DAG example_clickstream_hello ничего не проверял: он не обращался ни к ClickHouse, ни к Kafka, поэтому его зелёный результат ничего не говорил о стенде. Пробники проверяют связи по-настоящему — и тем же клиентом, каким будут ходить рабочие DAG. Что. - test_clickhouse: пишет строку в ReplicatedMergeTree на ноде 1 и читает её с ноды 2 через Distributed. Данные проходят путь «нода 2 → все шарды → шард ноды 1», то есть проверяется межшардовое чтение, а не одна нода. - test_kafka: пишет в постоянный топик сообщение с меткой прогона и вычитывает его обратно. - infra/airflow/Dockerfile: clickhouse-connect 1.6.0 и confluent-kafka 2.15.0 вшиты в образ, импорт проверяется на сборке — при запуске контейнера пакеты не доустанавливаются. - Проверки: scripts/stand-smoke.sh гоняет оба пробника через API Airflow, scripts/config-test.sh разбирает DAG без стенда, tests/stand-smoke-guards.sh проверяет красный путь, tests/dag-probes-unit.py — модульные проверки разбора. - README и ADR 0001 обновлены тем же изменением. - Удалён dags/example_clickstream_hello.py. Проверка. make config-test — пройдено 3, 3 и 6, ошибок 0. make clean; cp .env.example .env; make up — 116 с на чистых томах. make smoke — пройдено 25, ошибок 0; стенд занимает 2244,0 MiB. make smoke-cluster — все 8 проверок кластера. Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
This commit is contained in:
@@ -38,29 +38,34 @@ make smoke
|
||||
все локальные данные стенда, а следующий `make up` создаст их с новыми
|
||||
значениями.
|
||||
|
||||
`make up` собирает локальный образ Superset, поднимает весь стенд и ждёт
|
||||
здорового состояния долгоживущих контейнеров. Одноразовые `airflow-init` и
|
||||
`make up` собирает локальные образы Airflow и Superset, поднимает весь стенд и
|
||||
ждёт здорового состояния долгоживущих контейнеров. В образ Airflow добавлены
|
||||
закреплённые клиенты ClickHouse и Kafka. Одноразовые `airflow-init` и
|
||||
`superset-init` завершаются с кодом 0. Первый обновляет схему Airflow,
|
||||
подготавливает администратора и подключение к `clickhouse-01`. Второй обновляет
|
||||
Superset, создаёт администратора и импортирует подключение к `clickhouse-02`.
|
||||
|
||||
`make smoke` проверяет согласованность `.env.example` с Compose, зависимости
|
||||
машины, здоровье контейнеров, Kafka через порт машины, три цели Prometheus,
|
||||
источник Grafana, компоненты Airflow, ручной запуск примера DAG, метаданные и
|
||||
подключение Superset. В конце проверка ждёт 20 секунд покоя, печатает общую
|
||||
память контейнеров и падает при превышении 3,4 ГБ. Временный топик Kafka и
|
||||
проверочный запуск DAG удаляются.
|
||||
источник Grafana, компоненты Airflow, ручной запуск пробников `test_clickhouse`
|
||||
и `test_kafka`, метаданные и подключение Superset. Первый пробник создаёт
|
||||
таблицы на обеих нодах и читает через `Distributed` на ноде 2 строку из
|
||||
локальной таблицы ноды 1. Второй пишет в Kafka и читает свой маркер. В конце
|
||||
проверка ждёт 20 секунд покоя, печатает общую память контейнеров и падает при
|
||||
превышении 3,4 ГБ. Временный топик проверки с машины и запуски DAG удаляются;
|
||||
постоянный топик пробника сохраняется, а старые записи чистит Kafka.
|
||||
|
||||
`make smoke-cluster` запускает отдельную глубокую проверку ClickHouse: описание
|
||||
кластера, макросы, связь с keeper, `ReplicatedMergeTree`, `Distributed`, очередь
|
||||
распределённых DDL и очистку временных таблиц.
|
||||
|
||||
`make config-test` проверяет Compose, синтаксис Bash и Python и пробельные
|
||||
ошибки в diff без запуска стенда.
|
||||
`make config-test` проверяет Compose, синтаксис Bash и Python, малые проверки
|
||||
логики пробников и пробельные ошибки в diff без запуска стенда.
|
||||
|
||||
`make smoke-guards` сначала проверяет аварийную семантику кластерной проверки,
|
||||
а затем останавливает Prometheus и убеждается, что общая проверка называет его
|
||||
и завершается с ошибкой. В конце стенд восстанавливается.
|
||||
а затем удаляет служебную таблицу пробника только на второй ноде и
|
||||
останавливает Prometheus с Kafka. Общая проверка должна назвать Prometheus и
|
||||
оба пробника, после чего завершиться с ошибкой. В конце стенд восстанавливается.
|
||||
|
||||
Остановить контейнеры без удаления данных можно командой `make down`. Для
|
||||
полного сброса с удалением всех именованных томов используйте `make clean`.
|
||||
@@ -134,6 +139,10 @@ Airflow закреплён на 3.3.0. Состав обязательных п
|
||||
[архитектурой Airflow 3.3](https://airflow.apache.org/docs/apache-airflow/3.3.0/core-concepts/overview.html),
|
||||
[публичным интерфейсом](https://airflow.apache.org/docs/apache-airflow/3.3.0/public-airflow-interface.html)
|
||||
и [описанием здоровья](https://airflow.apache.org/docs/apache-airflow/3.3.0/administration-and-deployment/logging-monitoring/check-health.html).
|
||||
Для пробников проверены публичный `Connection.get` из `airflow.sdk` и клиент
|
||||
`clickhouse-connect`. Официальный провайдер Kafka сам использует
|
||||
`confluent-kafka`; отдельное подключение и обёртки провайдера здесь не нужны,
|
||||
поэтому прямой клиент оставляет образ и пример короче.
|
||||
Superset закреплён на 6.1.0; драйвер `clickhouse-connect`, форма
|
||||
`clickhousedb://` и драйвер Postgres сверены с
|
||||
[документацией подключений Superset](https://superset.apache.org/user-docs/6.1.0/databases/)
|
||||
|
||||
Reference in New Issue
Block a user