ddadmin
915e976fc2
Зачем: помочь учащемуся понять путь данных и работу служб перед выполнением заданий. Что: вычитаны оглавление и пять глав, пояснены термины, убраны внутренние метафоры и повторы. Уточнены пояснения к SQL и показателям мониторинга. Проверка: 62 локальные ссылки и 6 входящих ссылок на разделы проверены; 8 блоков SQL и схем сохранены. git diff --cached --check прошел.
6.3 KiB
Мониторинг: куда смотреть
В Grafana настроены три дашборда. «Данные» показывает загрузку и обработку событий и заказов, «Кластер» — состояние узлов и самого ClickHouse, а «Запросы» — выполненные запросы и затраченные на них ресурсы.
Prometheus собирает метрики с двух узлов ClickHouse, ClickHouse Keeper
и экспортера Kafka — службы, которая предоставляет метрики Kafka.
Grafana получает данные из Prometheus и напрямую из ClickHouse.
На панелях не заданы пороги для цветовых предупреждений: оценивать показания
вы будете самостоятельно. Качество данных автоматически проверяет
даг dq_check.
Дашборд «Данные»
«Свежесть» показывает, сколько времени прошло с последнего события и с последнего заказа в ODS. Показатель для заказов растет весь модельный день и снижается, когда поступает очередная дневная выгрузка — слепок. Это ожидаемо: заказы загружаются раз в день.
«Поток» показывает число сырых сообщений в STG за выбранный интервал. «Брак» показывает долю строк, которые не удалось разобрать.
«Сходимость» сравнивает число событий в Kafka и в ClickHouse. Тревожный признак — устойчивый разрыв между рядами. Разовое расхождение еще не говорит о потере данных: метрики Kafka и строки ClickHouse могут попадать в соседние интервалы на графике.
«Отставание» показывает, сколько сообщений в Kafka еще не прочитано потребителями. «Дневной слепок» перечисляет последние десять слепков заказов в STG: по нему видно, поступила ли очередная выгрузка.
Источники и правила чтения всех панелей разобраны в справочнике дашборда «Данные».
Почему у панелей разные источники
Свежесть считается по ODS: если новые сообщения перестали разбираться, показатель будет расти. Число поступивших сообщений берется из STG, где сохраняются все сообщения, включая повторы. Для доли брака это число сравнивается с числом строк в таблицах ошибок ODS.
В основных таблицах ODS повторы событий и старые версии заказов удаляются при слияниях. Поэтому число строк в них не подходит для подсчета всех доставленных сообщений. Подробности — в разделе о слоях панелей.
Два других дашборда
Открывайте «Кластер», чтобы проверить нагрузку на процессор, использование памяти и дисков, число частей таблиц и ход их слияний в ClickHouse. Здесь же показаны состояние ClickHouse Keeper и очередь распределенных DDL-команд. Устройство панелей описано в справочнике дашборда «Кластер».
«Запросы» поможет найти медленные запросы, ошибки и пользователей, чьи запросы потребляют много ресурсов. Как читать панели, объясняет справочник дашборда «Запросы».
Посмотрите сами
Откройте Grafana по адресу из раздела «Адреса и
пароли», затем дашборд «Данные». Запустите в
Airflow world_live_day: модельный день займет
около двадцати четырех минут.
Смотрите свежесть событий и свежесть заказов по отдельности. Пока день идет, со времени последнего события проходят секунды, а время с последней загрузки заказов растет. После завершения генерации событий отправляется слепок заказов. Когда он загружен, показатель свежести заказов снижается. Показатель для событий начинает расти: новые события поступят только при генерации следующего дня. Даг пока продолжает работу, ожидая завершения обработки данных в дневном конвейере.
Куда дальше
Устройство мониторинга описано в техническом справочнике, панели дашборда «Данные» — в отдельном разделе. Почему выбраны именно эти показатели, объясняет ADR 0002. Следующая глава — «Немного Superset».