feat(airflow): пробные DAG test_clickhouse и test_kafka вместо демонстрационного #19
Assignees
ddmitry (Dmitry Dementiev)
Clear assignees
ddmitry (Dmitry Dementiev)
No Assignees
Notifications
Due Date
No due date set.
Dependencies
No dependencies set.
Reference: ddmitry/clickstream-data-platform#19
Reference in New Issue
Block a user
Закрывает #18 (закрыть вручную: Gitea не понимает русские ключевые слова).
Что сделано
Демонстрационный DAG
example_clickstream_helloзаменён двумя пробниками,которые проверяют связи по-настоящему.
test_clickhouseпишет строку вReplicatedMergeTreeна ноде 1 ичитает её с ноды 2 через
Distributed. Данные проходят путь«нода 2 → все шарды → шард ноды 1»: проверяется межшардовое чтение, а не
доступность одной ноды.
test_kafkaпишет в постоянный топик сообщение с меткой прогона ивычитывает его обратно.
clickhouse-connect1.6.0 иconfluent-kafka2.15.0 вшиты вinfra/airflow/Dockerfile, импорт проверяется на сборке: при запускеконтейнера пакеты не доустанавливаются.
make smokeгоняет оба пробника через API Airflow (25проверок),
make config-testразбирает DAG без стенда,tests/stand-smoke-guards.shпроверяет красный путь,tests/dag-probes-unit.py— модульные проверки разбора.Вторым коммитом — две находки приёмки, не относящиеся к пробникам:
tests/docs-guards.shтеперь называет непрошедшую проверку (раньше падалчерез
set -eмолча) и объясняет в комментариях, зачем существует каждая;make smoke-clusterбольше не виснет:clickhouse-clientу запроса INSERTдочитывал данные из стандартного ввода и ждал его конца, а при запуске из
фонового процесса конец не наступал никогда;
статической проверки к дорогой интеграционной.
Проверка
Приёмочный прогон на чистых томах:
make config-test— пройдено 3, 3 и 6, ошибок 0;make clean,cp .env.example .env,make up— 116 с;make smoke— пройдено 25, ошибок 0; стенд занимает 2244,0 MiB при пороге3,4 ГБ;
make smoke-cluster— все 8 проверок, 7 с.Фальсификация сторожа документации: сломанный порт в README и разорванная
строка про перезапуск ClickHouse дают красный с именем непрошедшей проверки.
Процесс
Реализация — Codex, самопроверка 3/2. Два слепых ревью разных родословных:
по коду — APPROVED, по задаче — 8 находок. После триажа и перепроверки
мутациями всплыли ещё две; все десять закрыты.
Третьим коммитом — вывод из этого же прогона
AGENTS.mdполучил правило выбора исполнителя. Пробники написаны техническибезупречно и при этом неправильной формы: монолитная задача в DAG, ручная
машинерия уборки там, где у Airflow есть
trigger_rule, ноль комментариев ксамому неочевидному решению репозитория — чтению ноды 2 через
remote().Двадцать критериев тикета закрыты все двадцать, и это ничему не помогло.
Раз учебная ценность записана как базовая, читатель — не побочный потребитель,
а тот, ради кого стенд существует. Значит вкусовую работу пишет модель с
чувством меры, техническую — Кодекс, а разрез намечается по подзадачам при
планировании. Правка процессная, к пробникам прямого отношения не имеет;
вынести её отдельным PR, если так чище.
- Зачем: - инженерные скиллы (to-tickets, triage, wayfinder, domain-modeling) ждут репо-локальную настройку; без неё они не знают, чем заводить issues и какими метками размечать. Дока трекера жила ссылкой на репозиторий предшественника — внешняя зависимость на месте источника истины. - Что: - заведён docs/agents/: issue-tracker.md (Gitea через tea, команды, wayfinding, отдельный раздел про то, что «Закрывает #NN» issue не закрывает), triage-labels.md (пять канонических меток без переименований) и domain.md (один контекст, CONTEXT.md и docs/adr/). - в AGENTS.md добавлен раздел «Agent skills» со ссылками на эти файлы, ссылка на доку предшественника заменена локальной. - в «Структуре» закреплён нейминг: ГГГГ-ММ-ДД-слаг для docs/specs/ и docs/research/, NNNN-слаг для docs/adr/. - Проверка: - tea labels list — все пять меток триажа заведены в репозитории; - tea api version — Gitea 1.27.0, команды из доки отвечают живьём.