# Мониторинг: куда смотреть

В Grafana три дашборда, и у каждого своя тема. «Данные» показывает, все ли в
порядке с потоком данных. «Кластер» — состояние машин и самого ClickHouse.
«Запросы» — какие запросы выполнялись и сколько ресурсов они заняли.

Prometheus собирает метрики с двух узлов ClickHouse, keeper и экспортера Kafka.
Grafana читает и Prometheus, и ClickHouse напрямую. На панелях нет порогов и
цветовой подсветки: оценивать картинку придется самому. Автоматические
проверки, которые выносят вердикт, собраны в контуре DQ.

## Дашборд «Данные»

«Свежесть» показывает, сколько времени прошло с последнего события и с
последнего заказа в ODS. Свежесть заказов растет весь модельный день и
сбрасывается, когда на границе суток приходит слепок. Это нормальное поведение
источника, а не поломка.

«Поток» показывает число сырых сообщений в STG за выбранный интервал. «Брак»
рядом — доля строк, которые не удалось разобрать.

«Сходимость» сравнивает число событий в Kafka и в ClickHouse. Тревожный
признак — устойчивый разрыв между линиями. Расхождение в одном столбце ничего
не значит.

«Отставание» показывает, сколько сообщений в Kafka еще не прочитано
потребителями. «Дневной слепок» перечисляет последние десять слепков заказов в
STG: по нему видно, пришла ли выгрузка вовремя.

Источники и правила чтения всех панелей разобраны в [справочнике дашборда
«Данные»](../architecture/monitoring/data.md).

## Почему у панелей разные источники

Свежесть считается по ODS: если разбор остановился, это видно именно там. Поток
и брак считаются по STG, где сохраняется каждое доставленное сообщение. В ODS
повторы события и старые версии заказа схлопываются, поэтому счетчик там был бы
занижен. Подробности — в [разделе о слоях
панелей](../architecture/monitoring/data.md#почему-слои-у-панелей-разные).

## Два других дашборда

Открывайте «Кластер», когда нужно понять, что происходит с процессором, памятью
и дисками, с кусками данных и их слияниями в ClickHouse, с keeper или очередью
DDL. Устройство панелей описано в [справочнике дашборда
«Кластер»](../architecture/monitoring/cluster.md).

«Запросы» пригодится, когда вы ищете тяжелые запросы, ошибки или расход
ресурсов по пользователям. Как читать списки, объясняет [справочник дашборда
«Запросы»](../architecture/monitoring/queries.md).

## Посмотрите сами

Откройте Grafana по адресу из раздела [«Адреса и
пароли»](../../README.md#адреса-и-пароли), затем дашборд «Данные». Запустите в
Airflow [`world_live_day`](airflow-dags.md#даги-мира): модельный день займет
около двадцати четырех минут.

Смотрите свежесть событий и свежесть заказов по отдельности. Пока день идет,
свежесть событий держится на секундах, а свежесть заказов растет. На границе дня
слепок отправляется сразу: свежесть заказов сбрасывается, а свежесть событий
начинает расти, потому что новых событий до следующего дня не будет. Сам даг
остается в работе и после конца дня, потому что ждет дневной конвейер.

## Куда дальше

Состав мониторинга собран в [справочнике
зоны](../architecture/monitoring/README.md), детали главного экрана — в
[справочнике дашборда «Данные»](../architecture/monitoring/data.md), а границы
решения — в [ADR 0002](../adr/0002-monitoring-scope.md). Следующая глава —
[«Немного Superset»](superset.md).