# Мониторинг: куда смотреть

В Grafana три дашборда, и у каждого свой вопрос. «Данные» спрашивает, все ли в
порядке с потоком. «Кластер» спрашивает, что с машиной. «Запросы» — что
выполнялось и во что обошлось.

Prometheus собирает метрики с двух узлов ClickHouse, keeper и экспортера Kafka.
Grafana читает и Prometheus, и ClickHouse напрямую. На панелях нет порогов и
цветовых оценок: на них смотрят глазами. Красное и зеленое живут в проверках и
дагах DQ.

## Дашборд «Данные»

«Свежесть» отвечает, давно ли в ODS появились последние события и заказы.
Свежесть заказов растет весь модельный день и падает, когда на границе суток
приезжает слепок. Так устроен источник, а не сломан стенд.

«Поток» показывает число сырых сообщений в STG за выбранный интервал. Рядом
«Брак» отвечает, какая часть приехавших строк не прошла разбор.

«Сходимость» ставит рядом число событий из Kafka и ClickHouse. Ищите устойчивый
разрыв между линиями: разница в один столбец ничего не значит.

«Отставание» показывает, остались ли у читателей Kafka непрочитанные сообщения.
«Дневной слепок» показывает последние десять слепков заказов в STG: по нему
видно, доехала ли выгрузка вовремя.

Источники и правила чтения всех панелей разобраны в [справочнике дашборда
«Данные»](../architecture/monitoring/data.md).

## Почему панели смотрят в разные слои

Свежесть спрашивают у ODS: именно там видно, что разбор встал. Поток и брак
считают по STG, где сохраняется каждая доставка. ODS может схлопнуть повтор
события или версии заказа и занизить счетчик. Подробности — в [разделе о слоях
панелей](../architecture/monitoring/data.md#почему-слои-у-панелей-разные).

## Два других дашборда

Открывайте «Кластер», когда нужно понять, что происходит с процессором, памятью,
дисками, частями и слияниями ClickHouse, keeper или очередью DDL. Устройство
панелей описано в [справочнике дашборда
«Кластер»](../architecture/monitoring/cluster.md).

«Запросы» нужен, когда вы ищете тяжелые запросы, ошибки или расход ресурсов по
пользователям. Как читать списки, объясняет [справочник дашборда
«Запросы»](../architecture/monitoring/queries.md).

## Посмотрите сами

Откройте Grafana по адресу из раздела [«Адреса и
пароли»](../../README.md#адреса-и-пароли), затем дашборд «Данные». Запустите в
Airflow [`world_live_day`](airflow-dags.md#даги-мира): модельный день займет
около двадцати четырех минут.

Смотрите свежесть событий и свежесть заказов по отдельности. Пока день идет,
свежесть событий держится на секундах, а свежесть заказов растет. На границе дня
слепок уезжает сразу: свежесть заказов падает, а свежесть событий начинает
расти. Сам даг остается в работе и после конца дня, потому что ждет дневной
конвейер.

## Куда дальше

Состав мониторинга собран в [справочнике
зоны](../architecture/monitoring/README.md), детали главного экрана — в
[справочнике дашборда «Данные»](../architecture/monitoring/data.md), а границы
решения — в [ADR 0002](../adr/0002-monitoring-scope.md). Следующая глава —
[«Немного Superset»](superset.md).