docs(handbook): четыре главы переписаны живым русским
Зачем: владелец прочел главы и нашел неестественные фразы: дашборды «спрашивают», даги «двигают ось», заказ «ездит в слепках», Superset — «витрины глазами», объекты «приезжают из файлов». Читателю такие образы надо расшифровывать, а урок в них не прячется. Что: в четырех главах олицетворения заменены прямыми формулировками, «позиция мира» и «шаговый даг» раскрыты через world_position и имена дагов, паспорт мира описан по составу и назначению, окно слепка заказов объяснено словами, режимы генератора и правило импорта Superset сказаны прямо. Тире и стрелки оставлены: это домашний стиль. Проверка: проверки тикета #220 на битые ссылки и запретные слова пусты, строки прозы не длиннее 80 знаков, git diff --check чист. Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
This commit is contained in:
1 parent
ac21399fe4
commit
043d1c1382
4 files changed
+110
-93
No files matched your search
+30
-27
@@ -1,49 +1,52 @@
|
||||
# Мониторинг: куда смотреть
|
||||
|
||||
В Grafana три дашборда, и у каждого свой вопрос. «Данные» спрашивает, все ли в
|
||||
порядке с потоком. «Кластер» спрашивает, что с машиной. «Запросы» — что
|
||||
выполнялось и во что обошлось.
|
||||
В Grafana три дашборда, и у каждого своя тема. «Данные» показывает, все ли в
|
||||
порядке с потоком данных. «Кластер» — состояние машин и самого ClickHouse.
|
||||
«Запросы» — какие запросы выполнялись и сколько ресурсов они заняли.
|
||||
|
||||
Prometheus собирает метрики с двух узлов ClickHouse, keeper и экспортера Kafka.
|
||||
Grafana читает и Prometheus, и ClickHouse напрямую. На панелях нет порогов и
|
||||
цветовых оценок: на них смотрят глазами. Красное и зеленое живут в проверках и
|
||||
дагах DQ.
|
||||
цветовой подсветки: оценивать картинку придется самому. Автоматические
|
||||
проверки, которые выносят вердикт, собраны в контуре DQ.
|
||||
|
||||
## Дашборд «Данные»
|
||||
|
||||
«Свежесть» отвечает, давно ли в ODS появились последние события и заказы.
|
||||
Свежесть заказов растет весь модельный день и падает, когда на границе суток
|
||||
приезжает слепок. Так устроен источник, а не сломан стенд.
|
||||
«Свежесть» показывает, сколько времени прошло с последнего события и с
|
||||
последнего заказа в ODS. Свежесть заказов растет весь модельный день и
|
||||
сбрасывается, когда на границе суток приходит слепок. Это нормальное поведение
|
||||
источника, а не поломка.
|
||||
|
||||
«Поток» показывает число сырых сообщений в STG за выбранный интервал. Рядом
|
||||
«Брак» отвечает, какая часть приехавших строк не прошла разбор.
|
||||
«Поток» показывает число сырых сообщений в STG за выбранный интервал. «Брак»
|
||||
рядом — доля строк, которые не удалось разобрать.
|
||||
|
||||
«Сходимость» ставит рядом число событий из Kafka и ClickHouse. Ищите устойчивый
|
||||
разрыв между линиями: разница в один столбец ничего не значит.
|
||||
«Сходимость» сравнивает число событий в Kafka и в ClickHouse. Тревожный
|
||||
признак — устойчивый разрыв между линиями. Расхождение в одном столбце ничего
|
||||
не значит.
|
||||
|
||||
«Отставание» показывает, остались ли у читателей Kafka непрочитанные сообщения.
|
||||
«Дневной слепок» показывает последние десять слепков заказов в STG: по нему
|
||||
видно, доехала ли выгрузка вовремя.
|
||||
«Отставание» показывает, сколько сообщений в Kafka еще не прочитано
|
||||
потребителями. «Дневной слепок» перечисляет последние десять слепков заказов в
|
||||
STG: по нему видно, пришла ли выгрузка вовремя.
|
||||
|
||||
Источники и правила чтения всех панелей разобраны в [справочнике дашборда
|
||||
«Данные»](../architecture/monitoring/data.md).
|
||||
|
||||
## Почему панели смотрят в разные слои
|
||||
## Почему у панелей разные источники
|
||||
|
||||
Свежесть спрашивают у ODS: именно там видно, что разбор встал. Поток и брак
|
||||
считают по STG, где сохраняется каждая доставка. ODS может схлопнуть повтор
|
||||
события или версии заказа и занизить счетчик. Подробности — в [разделе о слоях
|
||||
Свежесть считается по ODS: если разбор остановился, это видно именно там. Поток
|
||||
и брак считаются по STG, где сохраняется каждое доставленное сообщение. В ODS
|
||||
повторы события и старые версии заказа схлопываются, поэтому счетчик там был бы
|
||||
занижен. Подробности — в [разделе о слоях
|
||||
панелей](../architecture/monitoring/data.md#почему-слои-у-панелей-разные).
|
||||
|
||||
## Два других дашборда
|
||||
|
||||
Открывайте «Кластер», когда нужно понять, что происходит с процессором, памятью,
|
||||
дисками, частями и слияниями ClickHouse, keeper или очередью DDL. Устройство
|
||||
панелей описано в [справочнике дашборда
|
||||
Открывайте «Кластер», когда нужно понять, что происходит с процессором, памятью
|
||||
и дисками, с кусками данных и их слияниями в ClickHouse, с keeper или очередью
|
||||
DDL. Устройство панелей описано в [справочнике дашборда
|
||||
«Кластер»](../architecture/monitoring/cluster.md).
|
||||
|
||||
«Запросы» нужен, когда вы ищете тяжелые запросы, ошибки или расход ресурсов по
|
||||
пользователям. Как читать списки, объясняет [справочник дашборда
|
||||
«Запросы» пригодится, когда вы ищете тяжелые запросы, ошибки или расход
|
||||
ресурсов по пользователям. Как читать списки, объясняет [справочник дашборда
|
||||
«Запросы»](../architecture/monitoring/queries.md).
|
||||
|
||||
## Посмотрите сами
|
||||
@@ -55,9 +58,9 @@ Airflow [`world_live_day`](airflow-dags.md#даги-мира): модельны
|
||||
|
||||
Смотрите свежесть событий и свежесть заказов по отдельности. Пока день идет,
|
||||
свежесть событий держится на секундах, а свежесть заказов растет. На границе дня
|
||||
слепок уезжает сразу: свежесть заказов падает, а свежесть событий начинает
|
||||
расти. Сам даг остается в работе и после конца дня, потому что ждет дневной
|
||||
конвейер.
|
||||
слепок отправляется сразу: свежесть заказов сбрасывается, а свежесть событий
|
||||
начинает расти, потому что новых событий до следующего дня не будет. Сам даг
|
||||
остается в работе и после конца дня, потому что ждет дневной конвейер.
|
||||
|
||||
## Куда дальше
|
||||
|
||||
|
||||
Reference in new issue
Block a user