docs(handbook): написаны четыре главы путеводителя

Зачем: после главы о хранилище путеводитель обещал еще четыре главы, а
вместо них стояли заглушки «Пока главы нет…». Без них читатель не видит,
кто двигает мир и раскладывает данные по слоям, куда смотреть в Grafana,
как витрина становится графиком и откуда берутся данные.

Что: docs/handbook/airflow-dags.md, monitoring.md, superset.md,
generator.md — по скелетам тикета #220, форма — как у главы о хранилище.
Сквозная линия трех глав: ход мира на день D везет слепок заказов дня D−1,
поэтому выручка всегда на день позади кликстрима. README путеводителя
ведет заголовками в файлы глав, заглушки убраны; «Куда дальше» главы о
хранилище ведет прямо в главу об Airflow.

Проверка: три SELECT из глав прогнаны на живом стенде от analyst — трафик
получил сыгранный день, выручка только предыдущий, счетчики первых восьми
дней совпали с паспортом мира. Скрипт проверки ссылок и запретных слов из
тикета пуст. Постановка отревьюена Opus (18 находок внесены); главы прошли
саморевью Sol и два слепых ревью Opus — факты и проза (ai-text-lint плюс
оптика литературного русского): 25 находок внесены, 1 отклонена.

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
This commit is contained in:
ddadminandClaude Fable 5.1 committed 2026-09-02 17:14:43 -04:00
1 parent b15d5253ee
commit ac21399fe4
6 files changed
+306 -16

No files matched your search

+68
View File
@@ -0,0 +1,68 @@
# Мониторинг: куда смотреть
В Grafana три дашборда, и у каждого свой вопрос. «Данные» спрашивает, все ли в
порядке с потоком. «Кластер» спрашивает, что с машиной. «Запросы» — что
выполнялось и во что обошлось.
Prometheus собирает метрики с двух узлов ClickHouse, keeper и экспортера Kafka.
Grafana читает и Prometheus, и ClickHouse напрямую. На панелях нет порогов и
цветовых оценок: на них смотрят глазами. Красное и зеленое живут в проверках и
дагах DQ.
## Дашборд «Данные»
«Свежесть» отвечает, давно ли в ODS появились последние события и заказы.
Свежесть заказов растет весь модельный день и падает, когда на границе суток
приезжает слепок. Так устроен источник, а не сломан стенд.
«Поток» показывает число сырых сообщений в STG за выбранный интервал. Рядом
«Брак» отвечает, какая часть приехавших строк не прошла разбор.
«Сходимость» ставит рядом число событий из Kafka и ClickHouse. Ищите устойчивый
разрыв между линиями: разница в один столбец ничего не значит.
«Отставание» показывает, остались ли у читателей Kafka непрочитанные сообщения.
«Дневной слепок» показывает последние десять слепков заказов в STG: по нему
видно, доехала ли выгрузка вовремя.
Источники и правила чтения всех панелей разобраны в [справочнике дашборда
«Данные»](../architecture/monitoring/data.md).
## Почему панели смотрят в разные слои
Свежесть спрашивают у ODS: именно там видно, что разбор встал. Поток и брак
считают по STG, где сохраняется каждая доставка. ODS может схлопнуть повтор
события или версии заказа и занизить счетчик. Подробности — в [разделе о слоях
панелей](../architecture/monitoring/data.md#почему-слои-у-панелей-разные).
## Два других дашборда
Открывайте «Кластер», когда нужно понять, что происходит с процессором, памятью,
дисками, частями и слияниями ClickHouse, keeper или очередью DDL. Устройство
панелей описано в [справочнике дашборда
«Кластер»](../architecture/monitoring/cluster.md).
«Запросы» нужен, когда вы ищете тяжелые запросы, ошибки или расход ресурсов по
пользователям. Как читать списки, объясняет [справочник дашборда
«Запросы»](../architecture/monitoring/queries.md).
## Посмотрите сами
Откройте Grafana по адресу из раздела [«Адреса и
пароли»](../../README.md#адреса-и-пароли), затем дашборд «Данные». Запустите в
Airflow [`world_live_day`](airflow-dags.md#даги-мира): модельный день займет
около двадцати четырех минут.
Смотрите свежесть событий и свежесть заказов по отдельности. Пока день идет,
свежесть событий держится на секундах, а свежесть заказов растет. На границе дня
слепок уезжает сразу: свежесть заказов падает, а свежесть событий начинает
расти. Сам даг остается в работе и после конца дня, потому что ждет дневной
конвейер.
## Куда дальше
Состав мониторинга собран в [справочнике
зоны](../architecture/monitoring/README.md), детали главного экрана — в
[справочнике дашборда «Данные»](../architecture/monitoring/data.md), а границы
решения — в [ADR 0002](../adr/0002-monitoring-scope.md). Следующая глава —
[«Немного Superset»](superset.md).