docs(handbook): написаны четыре главы путеводителя
Зачем: после главы о хранилище путеводитель обещал еще четыре главы, а вместо них стояли заглушки «Пока главы нет…». Без них читатель не видит, кто двигает мир и раскладывает данные по слоям, куда смотреть в Grafana, как витрина становится графиком и откуда берутся данные. Что: docs/handbook/airflow-dags.md, monitoring.md, superset.md, generator.md — по скелетам тикета #220, форма — как у главы о хранилище. Сквозная линия трех глав: ход мира на день D везет слепок заказов дня D−1, поэтому выручка всегда на день позади кликстрима. README путеводителя ведет заголовками в файлы глав, заглушки убраны; «Куда дальше» главы о хранилище ведет прямо в главу об Airflow. Проверка: три SELECT из глав прогнаны на живом стенде от analyst — трафик получил сыгранный день, выручка только предыдущий, счетчики первых восьми дней совпали с паспортом мира. Скрипт проверки ссылок и запретных слов из тикета пуст. Постановка отревьюена Opus (18 находок внесены); главы прошли саморевью Sol и два слепых ревью Opus — факты и проза (ai-text-lint плюс оптика литературного русского): 25 находок внесены, 1 отклонена. Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
This commit is contained in:
1 parent
b15d5253ee
commit
ac21399fe4
6 files changed
+306
-16
No files matched your search
@@ -0,0 +1,68 @@
|
||||
# Мониторинг: куда смотреть
|
||||
|
||||
В Grafana три дашборда, и у каждого свой вопрос. «Данные» спрашивает, все ли в
|
||||
порядке с потоком. «Кластер» спрашивает, что с машиной. «Запросы» — что
|
||||
выполнялось и во что обошлось.
|
||||
|
||||
Prometheus собирает метрики с двух узлов ClickHouse, keeper и экспортера Kafka.
|
||||
Grafana читает и Prometheus, и ClickHouse напрямую. На панелях нет порогов и
|
||||
цветовых оценок: на них смотрят глазами. Красное и зеленое живут в проверках и
|
||||
дагах DQ.
|
||||
|
||||
## Дашборд «Данные»
|
||||
|
||||
«Свежесть» отвечает, давно ли в ODS появились последние события и заказы.
|
||||
Свежесть заказов растет весь модельный день и падает, когда на границе суток
|
||||
приезжает слепок. Так устроен источник, а не сломан стенд.
|
||||
|
||||
«Поток» показывает число сырых сообщений в STG за выбранный интервал. Рядом
|
||||
«Брак» отвечает, какая часть приехавших строк не прошла разбор.
|
||||
|
||||
«Сходимость» ставит рядом число событий из Kafka и ClickHouse. Ищите устойчивый
|
||||
разрыв между линиями: разница в один столбец ничего не значит.
|
||||
|
||||
«Отставание» показывает, остались ли у читателей Kafka непрочитанные сообщения.
|
||||
«Дневной слепок» показывает последние десять слепков заказов в STG: по нему
|
||||
видно, доехала ли выгрузка вовремя.
|
||||
|
||||
Источники и правила чтения всех панелей разобраны в [справочнике дашборда
|
||||
«Данные»](../architecture/monitoring/data.md).
|
||||
|
||||
## Почему панели смотрят в разные слои
|
||||
|
||||
Свежесть спрашивают у ODS: именно там видно, что разбор встал. Поток и брак
|
||||
считают по STG, где сохраняется каждая доставка. ODS может схлопнуть повтор
|
||||
события или версии заказа и занизить счетчик. Подробности — в [разделе о слоях
|
||||
панелей](../architecture/monitoring/data.md#почему-слои-у-панелей-разные).
|
||||
|
||||
## Два других дашборда
|
||||
|
||||
Открывайте «Кластер», когда нужно понять, что происходит с процессором, памятью,
|
||||
дисками, частями и слияниями ClickHouse, keeper или очередью DDL. Устройство
|
||||
панелей описано в [справочнике дашборда
|
||||
«Кластер»](../architecture/monitoring/cluster.md).
|
||||
|
||||
«Запросы» нужен, когда вы ищете тяжелые запросы, ошибки или расход ресурсов по
|
||||
пользователям. Как читать списки, объясняет [справочник дашборда
|
||||
«Запросы»](../architecture/monitoring/queries.md).
|
||||
|
||||
## Посмотрите сами
|
||||
|
||||
Откройте Grafana по адресу из раздела [«Адреса и
|
||||
пароли»](../../README.md#адреса-и-пароли), затем дашборд «Данные». Запустите в
|
||||
Airflow [`world_live_day`](airflow-dags.md#даги-мира): модельный день займет
|
||||
около двадцати четырех минут.
|
||||
|
||||
Смотрите свежесть событий и свежесть заказов по отдельности. Пока день идет,
|
||||
свежесть событий держится на секундах, а свежесть заказов растет. На границе дня
|
||||
слепок уезжает сразу: свежесть заказов падает, а свежесть событий начинает
|
||||
расти. Сам даг остается в работе и после конца дня, потому что ждет дневной
|
||||
конвейер.
|
||||
|
||||
## Куда дальше
|
||||
|
||||
Состав мониторинга собран в [справочнике
|
||||
зоны](../architecture/monitoring/README.md), детали главного экрана — в
|
||||
[справочнике дашборда «Данные»](../architecture/monitoring/data.md), а границы
|
||||
решения — в [ADR 0002](../adr/0002-monitoring-scope.md). Следующая глава —
|
||||
[«Немного Superset»](superset.md).
|
||||
Reference in new issue
Block a user