ddadminandClaude Fable 5.1
043d1c1382
Зачем: владелец прочел главы и нашел неестественные фразы: дашборды «спрашивают», даги «двигают ось», заказ «ездит в слепках», Superset — «витрины глазами», объекты «приезжают из файлов». Читателю такие образы надо расшифровывать, а урок в них не прячется. Что: в четырех главах олицетворения заменены прямыми формулировками, «позиция мира» и «шаговый даг» раскрыты через world_position и имена дагов, паспорт мира описан по составу и назначению, окно слепка заказов объяснено словами, режимы генератора и правило импорта Superset сказаны прямо. Тире и стрелки оставлены: это домашний стиль. Проверка: проверки тикета #220 на битые ссылки и запретные слова пусты, строки прозы не длиннее 80 знаков, git diff --check чист. Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
5.4 KiB
Мониторинг: куда смотреть
В Grafana три дашборда, и у каждого своя тема. «Данные» показывает, все ли в порядке с потоком данных. «Кластер» — состояние машин и самого ClickHouse. «Запросы» — какие запросы выполнялись и сколько ресурсов они заняли.
Prometheus собирает метрики с двух узлов ClickHouse, keeper и экспортера Kafka. Grafana читает и Prometheus, и ClickHouse напрямую. На панелях нет порогов и цветовой подсветки: оценивать картинку придется самому. Автоматические проверки, которые выносят вердикт, собраны в контуре DQ.
Дашборд «Данные»
«Свежесть» показывает, сколько времени прошло с последнего события и с последнего заказа в ODS. Свежесть заказов растет весь модельный день и сбрасывается, когда на границе суток приходит слепок. Это нормальное поведение источника, а не поломка.
«Поток» показывает число сырых сообщений в STG за выбранный интервал. «Брак» рядом — доля строк, которые не удалось разобрать.
«Сходимость» сравнивает число событий в Kafka и в ClickHouse. Тревожный признак — устойчивый разрыв между линиями. Расхождение в одном столбце ничего не значит.
«Отставание» показывает, сколько сообщений в Kafka еще не прочитано потребителями. «Дневной слепок» перечисляет последние десять слепков заказов в STG: по нему видно, пришла ли выгрузка вовремя.
Источники и правила чтения всех панелей разобраны в справочнике дашборда «Данные».
Почему у панелей разные источники
Свежесть считается по ODS: если разбор остановился, это видно именно там. Поток и брак считаются по STG, где сохраняется каждое доставленное сообщение. В ODS повторы события и старые версии заказа схлопываются, поэтому счетчик там был бы занижен. Подробности — в разделе о слоях панелей.
Два других дашборда
Открывайте «Кластер», когда нужно понять, что происходит с процессором, памятью и дисками, с кусками данных и их слияниями в ClickHouse, с keeper или очередью DDL. Устройство панелей описано в справочнике дашборда «Кластер».
«Запросы» пригодится, когда вы ищете тяжелые запросы, ошибки или расход ресурсов по пользователям. Как читать списки, объясняет справочник дашборда «Запросы».
Посмотрите сами
Откройте Grafana по адресу из раздела «Адреса и
пароли», затем дашборд «Данные». Запустите в
Airflow world_live_day: модельный день займет
около двадцати четырех минут.
Смотрите свежесть событий и свежесть заказов по отдельности. Пока день идет, свежесть событий держится на секундах, а свежесть заказов растет. На границе дня слепок отправляется сразу: свежесть заказов сбрасывается, а свежесть событий начинает расти, потому что новых событий до следующего дня не будет. Сам даг остается в работе и после конца дня, потому что ждет дневной конвейер.
Куда дальше
Состав мониторинга собран в справочнике зоны, детали главного экрана — в справочнике дашборда «Данные», а границы решения — в ADR 0002. Следующая глава — «Немного Superset».