feat(airflow): пробные DAG test_clickhouse и test_kafka вместо демонстрационного

Зачем. Демонстрационный DAG example_clickstream_hello ничего не проверял: он не обращался ни к ClickHouse, ни к Kafka, поэтому его зелёный результат ничего не говорил о стенде. Пробники проверяют связи по-настоящему — и тем же клиентом, каким будут ходить рабочие DAG. Что. - test_clickhouse: пишет строку в ReplicatedMergeTree на ноде 1 и читает её с ноды 2 через Distributed. Данные проходят путь «нода 2 → все шарды → шард ноды 1», то есть проверяется межшардовое чтение, а не одна нода. - test_kafka: пишет в постоянный топик сообщение с меткой прогона и вычитывает его обратно. - infra/airflow/Dockerfile: clickhouse-connect 1.6.0 и confluent-kafka 2.15.0 вшиты в образ, импорт проверяется на сборке — при запуске контейнера пакеты не доустанавливаются. - Проверки: scripts/stand-smoke.sh гоняет оба пробника через API Airflow, scripts/config-test.sh разбирает DAG без стенда, tests/stand-smoke-guards.sh проверяет красный путь, tests/dag-probes-unit.py — модульные проверки разбора. - README и ADR 0001 обновлены тем же изменением. - Удалён dags/example_clickstream_hello.py. Проверка. make config-test — пройдено 3, 3 и 6, ошибок 0. make clean; cp .env.example .env; make up — 116 с на чистых томах. make smoke — пройдено 25, ошибок 0; стенд занимает 2244,0 MiB. make smoke-cluster — все 8 проверок кластера. Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
2026-07-31 14:04:19 +03:00
parent d3bc2f7c18
commit 64f3418378
12 changed files with 799 additions and 109 deletions
@@ -0,0 +1,184 @@
+"""Малые проверки логики пробника ClickHouse без запуска Airflow."""
+
+from __future__ import annotations
+
+import importlib.util
+import sys
+import types
+import unittest
+from pathlib import Path
+
+
+def load_clickhouse_dag_module():
+    airflow_module = types.ModuleType("airflow")
+    sdk_module = types.ModuleType("airflow.sdk")
+
+    def dag(**_kwargs):
+        def decorate(function):
+            return function
+
+        return decorate
+
+    def task(function):
+        def declare_task(*_args, **_kwargs):
+            return None
+
+        return declare_task
+
+    sdk_module.Connection = object
+    sdk_module.dag = dag
+    sdk_module.get_current_context = lambda: {}
+    sdk_module.task = task
+    airflow_module.sdk = sdk_module
+    sys.modules["airflow"] = airflow_module
+    sys.modules["airflow.sdk"] = sdk_module
+
+    dag_path = Path(__file__).resolve().parents[1] / "dags" / "test_clickhouse.py"
+    spec = importlib.util.spec_from_file_location("test_clickhouse_dag", dag_path)
+    if spec is None or spec.loader is None:
+        raise RuntimeError("не удалось загрузить модуль пробника ClickHouse")
+    module = importlib.util.module_from_spec(spec)
+    spec.loader.exec_module(module)
+    return module
+
+
+def load_kafka_dag_task():
+    airflow_module = types.ModuleType("airflow")
+    sdk_module = types.ModuleType("airflow.sdk")
+    captured_tasks = {}
+
+    def dag(**_kwargs):
+        def decorate(function):
+            return function
+
+        return decorate
+
+    def task(function):
+        captured_tasks[function.__name__] = function
+
+        def declare_task(*_args, **_kwargs):
+            return None
+
+        return declare_task
+
+    sdk_module.dag = dag
+    sdk_module.get_current_context = lambda: {"run_id": "unit-test"}
+    sdk_module.task = task
+    airflow_module.sdk = sdk_module
+    sys.modules["airflow"] = airflow_module
+    sys.modules["airflow.sdk"] = sdk_module
+
+    dag_path = Path(__file__).resolve().parents[1] / "dags" / "test_kafka.py"
+    spec = importlib.util.spec_from_file_location("test_kafka_dag", dag_path)
+    if spec is None or spec.loader is None:
+        raise RuntimeError("не удалось загрузить модуль пробника Kafka")
+    module = importlib.util.module_from_spec(spec)
+    spec.loader.exec_module(module)
+    return captured_tasks["check_round_trip"]
+
+
+class FailingCleanupClient:
+    def __init__(self) -> None:
+        self.closed = False
+
+    def command(self, _sql: str) -> None:
+        raise RuntimeError("очистка недоступна")
+
+    def close(self) -> None:
+        self.closed = True
+
+
+class ClickHouseProbeTests(unittest.TestCase):
+    @classmethod
+    def setUpClass(cls) -> None:
+        cls.module = load_clickhouse_dag_module()
+
+    def test_marker_path_requires_different_nodes_and_first_shard(self) -> None:
+        marker = "свой-маркер"
+        self.module._assert_marker_path(
+            local_rows=[("clickhouse-01-host", marker)],
+            distributed_rows=[(1, "clickhouse-01-host", marker)],
+            node_2_hostname="clickhouse-02-host",
+            marker=marker,
+        )
+
+        with self.assertRaisesRegex(RuntimeError, "разных нод"):
+            self.module._assert_marker_path(
+                local_rows=[("clickhouse-02-host", marker)],
+                distributed_rows=[(2, "clickhouse-02-host", marker)],
+                node_2_hostname="clickhouse-02-host",
+                marker=marker,
+            )
+        with self.assertRaisesRegex(RuntimeError, "первого шарда"):
+            self.module._assert_marker_path(
+                local_rows=[("clickhouse-01-host", marker)],
+                distributed_rows=[(2, "clickhouse-01-host", marker)],
+                node_2_hostname="clickhouse-02-host",
+                marker=marker,
+            )
+
+    def test_cleanup_keeps_original_error_as_primary(self) -> None:
+        client = FailingCleanupClient()
+        original_error = RuntimeError("маркер не найден")
+
+        self.module._cleanup_clickhouse_client(client, original_error)
+
+        self.assertTrue(client.closed)
+        self.assertIn("очистка недоступна", "\n".join(original_error.__notes__))
+
+
+class KafkaProbeTests(unittest.TestCase):
+    def test_producer_flushes_when_consumer_creation_fails(self) -> None:
+        kafka_module = types.ModuleType("confluent_kafka")
+        flush_timeouts = []
+
+        class Message:
+            def partition(self) -> int:
+                return 0
+
+            def offset(self) -> int:
+                return 1
+
+        class Producer:
+            def __init__(self, _config) -> None:
+                pass
+
+            def produce(self, _topic, **kwargs) -> None:
+                kwargs["on_delivery"](None, Message())
+
+            def flush(self, timeout: int) -> int:
+                flush_timeouts.append(timeout)
+                return 0
+
+        class Consumer:
+            def __init__(self, _config) -> None:
+                raise RuntimeError("чтение недоступно")
+
+        kafka_module.Consumer = Consumer
+        kafka_module.Producer = Producer
+        kafka_module.TopicPartition = object
+        sys.modules["confluent_kafka"] = kafka_module
+        check_round_trip = load_kafka_dag_task()
+
+        with self.assertRaisesRegex(RuntimeError, "чтение недоступно"):
+            check_round_trip()
+
+        self.assertEqual(flush_timeouts, [10, 1])
+
+
+def run_tests() -> int:
+    suite = unittest.defaultTestLoader.loadTestsFromModule(sys.modules[__name__])
+    result = unittest.TestResult()
+    suite.run(result)
+
+    problems = result.failures + result.errors
+    for test, details in problems:
+        print(f"ОШИБКА: {test.id()}", file=sys.stderr)
+        print(details, file=sys.stderr)
+    passed = result.testsRun - len(problems) - len(result.skipped)
+    print(f"ИТОГ: пройдено {passed}, ошибок {len(problems)}")
+    return 0 if result.wasSuccessful() else 1
+
+
+if __name__ == "__main__":
+    raise SystemExit(run_tests())
@@ -14,6 +14,16 @@ printf 'ЗЕЛЁНО: README объясняет сброс томов после
 grep -Fxq -- '- нода 2 — `http://127.0.0.1:28124`, нативный порт `29001`;' "$README"
 printf 'ЗЕЛЁНО: список портов остаётся единым списком.\n'

+awk '
+    previous == "`make config-test` проверяет Compose, синтаксис Bash и Python, малые проверки" &&
+        $0 == "логики пробников и пробельные ошибки в diff без запуска стенда." {
+        found = 1
+    }
+    {previous = $0}
+    END {exit !found}
+' "$README"
+printf 'ЗЕЛЁНО: README перечисляет малые проверки пробников в составе config-test.\n'
+
 awk '
    previous == "После изменения `infra/clickhouse/config.d/prometheus.xml` выполните" &&
        $0 == "`docker compose restart clickhouse-01 clickhouse-02`: обычный `make up` не" {
@@ -35,4 +45,4 @@ elif [[ "$grep_status" -ne 1 ]]; then
 fi
 printf 'ЗЕЛЁНО: отчёт проверки использует русское обозначение ГБ.\n'

-printf 'ИТОГ: пройдено 5, ошибок 0\n'
+printf 'ИТОГ: пройдено 6, ошибок 0\n'
@@ -4,13 +4,100 @@ set -uo pipefail
 readonly ROOT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")/.." && pwd)"
 read -r -a COMPOSE_CMD <<<"${COMPOSE_BIN:-docker compose}"
 readonly LOG_FILE="$(mktemp)"
+readonly CLICKHOUSE_LOCAL_TABLE="airflow_probe_local"
+readonly CLICKHOUSE_DISTRIBUTED_TABLE="airflow_probe_distributed"
 restored=0
 passed=0
+red_smoke_pid=''

 compose() {
    "${COMPOSE_CMD[@]}" --project-directory "$ROOT_DIR" "$@"
 }

+published_port() {
+    local binding
+    local service="$1"
+    local container_port="$2"
+    binding="$(compose port "$service" "$container_port" 2>/dev/null || true)"
+    printf '%s\n' "${binding##*:}"
+}
+
+query_node_2() {
+    local sql="$1"
+    local port
+    port="$(published_port clickhouse-02 8123)"
+    curl -sf --max-time 2 --data-binary "$sql" "http://127.0.0.1:${port}/"
+}
+
+break_clickhouse_probe() {
+    local deadline
+    local table_state
+
+    deadline=$((EPOCHSECONDS + 60))
+    printf 'Ожидание служебных таблиц на ноде 2, предел 60 секунд...\n'
+    while [[ "$EPOCHSECONDS" -lt "$deadline" ]]; do
+        table_state="$(query_node_2 "
+            SELECT
+                countIf(name = '${CLICKHOUSE_LOCAL_TABLE}'),
+                countIf(name = '${CLICKHOUSE_DISTRIBUTED_TABLE}')
+            FROM system.tables
+            WHERE database = 'default'
+              AND name IN (
+                  '${CLICKHOUSE_LOCAL_TABLE}',
+                  '${CLICKHOUSE_DISTRIBUTED_TABLE}'
+              )
+            FORMAT TSV
+        " 2>/dev/null || true)"
+        if [[ "$table_state" == $'1\t1' ]]; then
+            query_node_2 \
+                "DROP TABLE IF EXISTS default.${CLICKHOUSE_LOCAL_TABLE} SYNC" \
+                >/dev/null
+            table_state="$(query_node_2 "
+                SELECT
+                    countIf(name = '${CLICKHOUSE_LOCAL_TABLE}'),
+                    countIf(name = '${CLICKHOUSE_DISTRIBUTED_TABLE}')
+                FROM system.tables
+                WHERE database = 'default'
+                  AND name IN (
+                      '${CLICKHOUSE_LOCAL_TABLE}',
+                      '${CLICKHOUSE_DISTRIBUTED_TABLE}'
+                  )
+                FORMAT TSV
+            " 2>/dev/null || true)"
+            if [[ "$table_state" == $'0\t1' ]]; then
+                printf 'Служебная локальная таблица удалена только на ноде 2.\n'
+                return
+            fi
+            return 1
+        fi
+        sleep 0.05
+    done
+    return 1
+}
+
+clickhouse_break_is_reported() {
+    compose exec -T airflow-scheduler bash -ceu '
+        latest="$(
+            find /opt/airflow/logs/dag_id=test_clickhouse \
+                -type f -name "attempt=1.log" -printf "%T@ %p\n" |
+                sort -nr |
+                head -n 1
+        )"
+        latest="${latest#* }"
+        test -n "$latest"
+        grep -Eq \
+            "неверный набор таблиц на ноде 2|Unknown table expression identifier '\''default.airflow_probe_local'\''" \
+            "$latest"
+    '
+}
+
+probe_failure_is_reported() {
+    local dag_id="$1"
+    grep -Eq \
+        "ОШИБКА: (пробник ${dag_id}|Airflow не показал пробник ${dag_id})" \
+        "$LOG_FILE"
+}
+
 restore_stand() {
    make --no-print-directory -C "$ROOT_DIR" COMPOSE="${COMPOSE_BIN:-docker compose}" up >/dev/null
 }
@@ -18,6 +105,10 @@ restore_stand() {
 on_exit() {
    local status=$?
    trap - EXIT INT TERM
+    if [[ -n "$red_smoke_pid" ]]; then
+        kill -TERM -- "-$red_smoke_pid" >/dev/null 2>&1 || true
+        wait "$red_smoke_pid" >/dev/null 2>&1 || true
+    fi
    rm -f "$LOG_FILE"
    if [[ "$restored" -eq 0 ]] && ! restore_stand; then
        printf 'ОШИБКА: не удалось восстановить стенд после проверки.\n' >&2
@@ -38,14 +129,45 @@ else
 fi

 compose stop prometheus >/dev/null
-make --no-print-directory -C "$ROOT_DIR" COMPOSE="${COMPOSE_BIN:-docker compose}" smoke >"$LOG_FILE" 2>&1
+setsid make --no-print-directory -C "$ROOT_DIR" \
+    COMPOSE="${COMPOSE_BIN:-docker compose}" smoke >"$LOG_FILE" 2>&1 &
+red_smoke_pid=$!
+if ! break_clickhouse_probe; then
+    printf 'ОШИБКА: не удалось удалить служебную таблицу только на ноде 2.\n' >&2
+    exit 1
+fi
+compose stop kafka >/dev/null
+wait "$red_smoke_pid"
 status=$?
+red_smoke_pid=''

-if [[ "$status" -ne 0 ]] && grep -q 'ОШИБКА: сервис prometheus' "$LOG_FILE"; then
+red_path_ok=1
+if [[ "$status" -eq 0 ]]; then
+    printf 'ОШИБКА: make smoke остался зелёным после внесённых поломок.\n' >&2
+    red_path_ok=0
+fi
+if ! grep -q 'ОШИБКА: сервис prometheus' "$LOG_FILE"; then
+    printf 'ОШИБКА: make smoke не назвал остановленный prometheus.\n' >&2
+    red_path_ok=0
+fi
+if ! probe_failure_is_reported test_clickhouse; then
+    printf 'ОШИБКА: make smoke не назвал пробник test_clickhouse.\n' >&2
+    red_path_ok=0
+fi
+if ! probe_failure_is_reported test_kafka; then
+    printf 'ОШИБКА: make smoke не назвал пробник test_kafka.\n' >&2
+    red_path_ok=0
+fi
+if ! clickhouse_break_is_reported; then
+    printf 'ОШИБКА: журнал test_clickhouse не связал отказ с удалённой таблицей на ноде 2.\n' >&2
+    red_path_ok=0
+fi
+
+if [[ "$red_path_ok" -eq 1 ]]; then
    passed=$((passed + 1))
-    printf 'ЗЕЛЁНО: остановленный prometheus делает make smoke красным и назван в отчёте.\n'
+    printf 'ЗЕЛЁНО: удаление таблицы на ноде 2 и остановка prometheus с kafka делают make smoke красным; оба пробника названы в отчёте.\n'
 else
-    printf 'ОШИБКА: make smoke не обнаружил остановленный prometheus; код=%s.\n' "$status" >&2
+    printf 'ОШИБКА: проверка красного пути завершилась с кодом make smoke %s.\n' "$status" >&2
    exit 1
 fi