docs(airflow): шапка теста ClickHouse объясняет, что он проверяет
Зачем: пробники — единственный пример DAG в стенде, по ним будут учиться. Читатель начинал с кода, не зная, что тест утверждает и чем он отличается от боевого кода, — и рисковал скопировать приёмы проверки связности в ETL. Что: строка описания test_clickhouse развёрнута в список проверяемых утверждений и оговорку, что образцом ETL этот тест не является. Описание уходит в doc_md и видно в интерфейсе Airflow. Правило комментариев из #20 строк описания DAG не касается, границы тикета не задеты. Проверка: make config-test — 4/3/6, ошибок 0. make smoke — 24 проверки зелены, включая оба пробника; красной осталась только память стенда (3250 MiB против порога 3242,5), причина известна и разбирается в #21.
This commit is contained in:
+15
-1
@@ -1,4 +1,18 @@
|
|||||||
"""Сквозная проверка подключения Airflow к кластеру ClickHouse."""
|
"""Сквозная проверка связности Airflow с кластером ClickHouse.
|
||||||
|
|
||||||
|
Тест проверяет:
|
||||||
|
|
||||||
|
- до запуска служебных таблиц нет ни на одной ноде;
|
||||||
|
- после создания на обеих лежит ожидаемая пара движков;
|
||||||
|
- маркер запуска вставлен в локальную таблицу ноды 1 и найден там ровно одной
|
||||||
|
строкой;
|
||||||
|
- нода 2 читает этот маркер через Distributed и видит его на первом шарде;
|
||||||
|
- после уборки таблиц не осталось ни на одной ноде.
|
||||||
|
|
||||||
|
Этот тест — не образец ETL. Он ходит ON CLUSTER на каждом шаге, заводит и
|
||||||
|
сносит собственные служебные таблицы за один запуск и читает ноду 2 запросом
|
||||||
|
remote(): это приёмы проверки связности, а не загрузки данных.
|
||||||
|
"""
|
||||||
|
|
||||||
from __future__ import annotations
|
from __future__ import annotations
|
||||||
|
|
||||||
|
|||||||
Reference in New Issue
Block a user