0 Fork 0

Files

T

ddadmin 91e281fd32 docs(monitoring): справочник зоны разрезан на набор документов

- Зачем:
  - половина справочника была про один дашборд «Данные», а этап приносит ещё
    два дашборда и правила оповещения: описание самой зоны утонуло бы.
- Что:
  - заведён набор docs/architecture/monitoring/ по ADR 0011: README.md — зона
    и каталог дашбордов, data.md — устройство дашборда «Данные».
  - обе входящие ссылки перенацелены: README.md репозитория и ADR 0002.
- Проверка:
  - make config-test; ссылки из README.md и ADR 0002 открываются.

2026-08-21 14:00:05 -04:00

8.6 KiB

Raw Blame History

Мониторинг: из чего собран и что скребёт

Набор описывает зону мониторинга: какие сервисы в неё входят, что собирает Prometheus, какие источники данных подготовлены в Grafana, каким пользователем она ходит в ClickHouse и куда кладутся дашборды. Устройство каждого дашборда — отдельным файлом, указатели ниже. Зачем зоне именно такой состав и какие дашборды на нём задуманы — ADR 0002; устройство доступа — ADR 0007.

Что здесь есть и чего ещё нет. Собран пол: свой образ Grafana с плагином ClickHouse, два подготовленных источника данных, экспортёр метрик Kafka и цель для него у Prometheus. Поверх пола стоит главный дашборд — «Данные»; «Кластер» и «Запросы» приносят отдельные тикеты. Правил оповещения и серверного журнала system.text_log тоже пока нет.

Состав

Сервис	Образ	Что делает
`prometheus`	`prom/prometheus:v3.13.2`	опрашивает цели раз в 15 секунд, порт стенда `29090`
`grafana`	`clickstream-grafana:local`	интерфейс мониторинга; собирается из `infra/grafana/`, порт стенда `23000`
`kafka-exporter`	`danielqsj/kafka-exporter:v1.9.0`	переводит состояние брокера в метрики Prometheus, порт `9308`

Плагин ClickHouse 4.20.0 входит в образ Grafana. Фоновая установка плагинов при запуске отключена.

Что скребёт Prometheus

Цель	Задание	Метка `role`	Откуда метрики
`clickhouse-01:9363`	`clickhouse`	`server`	встроенный экспортёр ноды
`clickhouse-02:9363`	`clickhouse`	`server`	встроенный экспортёр ноды
`clickhouse-keeper:9363`	`clickhouse-keeper`	`keeper`	встроенный экспортёр keeper
`kafka-exporter:9308`	`kafka`	`exporter`	внешний экспортёр

Ровно эти четыре цели пересчитывает check_prometheus_targets в scripts/stand-smoke.sh — и по значению up, и по списку адресов. Пятая цель красит смоук; это и есть способ заметить, что состав пола поменяли молча.

Источники данных Grafana

Оба источника подготовлены файлами в infra/grafana/provisioning/datasources/ и объявлены editable: false: править их через интерфейс нельзя, источник истины — репозиторий.

prometheus — основной по умолчанию, ходит на http://prometheus:9090.
clickhouse — плагин grafana-clickhouse-datasource, нативный протокол, clickhouse-01:9000, пользователь grafana, пароль из .env.

Источник ClickHouse смотрит на clickhouse-01. Системные таблицы обеих нод панели читают через clusterAllReplicas, как принято в ADR 0002.

Доступ к ClickHouse

Grafana ходит пользователем grafana с ролью monitoring_reader: читает слои, таблицы базы dic и системные таблицы. REMOTE разрешает clusterAllReplicas, CLUSTER — запросы ON CLUSTER. Решение о своей роли записано в ADR 0007. Пароль задаётся переменной CLICKHOUSE_GRAFANA_PASSWORD.

Дашборды

Каталог infra/grafana/provisioning/dashboards/ смонтирован в контейнер и объявлен провайдером в provider.yml: Grafana подхватывает оттуда файлы дашбордов, удалять и править их через интерфейс запрещено. Новый дашборд — это новый файл в каталоге и больше ничего: в compose.yaml заходить не нужно, ради этого каталог и заведён заранее.

Файлы каталога разбирает make config-test, рядом с файлами дагов и по тому же доводу (testing.md).

Собран один:

«Данные» (data.json) — с потоком всё в порядке: свежесть, поток, брак, сходимость Kafka с ClickHouse, отставание чтения и дневной слепок заказов. Устройство и разбор панелей — data.md.

Что проверено

Права роли monitoring_reader сверены 21 августа 2026 года по документации ClickHouse через MCP Context7; разбор — в ADR 0007, раздел «Что проверено».

Сам состав проверен на живом стенде 21 августа 2026 года, собранном заново после make clean.

Grafana видит плагин grafana-clickhouse-datasource 4.20.0 (/api/plugins?type=datasource), оба подготовленных источника здоровы.
Запрос источника ClickHouse к system.one через clusterAllReplicas вернул 2 — с одной ноды видны обе.
Prometheus видит ровно четыре цели, все со значением up = 1; запрос kafka_consumergroup_lag вернул ряды по группам clickstream_*.
make smoke 21/21, make check-clickhouse 10/10, make check-services 7/7.

Дашборд «Данные» проверен на живом стенде в тот же день, world_live снят с паузы.

Дашборд поднимается из каталога сам: файл положен, панели появились без ручного импорта. Сохранение и удаление через API отвергнуты («Cannot save provisioned dashboard», «provisioned dashboard cannot be deleted»).
Все шесть панелей отвечают через /api/ds/query — и в окне часа по умолчанию, и в окне на шесть часов, которое начинается раньше, чем поднялся экспортёр. Пустых нет ни при идущем потоке, ни при остановленном.
Брак: подсунутое в топик hits негодное сообщение легло в ods.event_errors с классом keyset_mismatch; панель показала единицу и долю 0,039 % в десятиминутном окне. Строка убрана мутациями из stg.hits_raw_rep и ods.event_errors_rep, обе таблицы вернулись к нулю.
Сходимость: на живом потоке за двадцать пять минут медиана расхождения между рядами 3 %, худший столбец 11 % — на переломе потока, как и описано в data.md. Отказы тоже по замеру: increase расходился сильнее, а накопленный итог пропадал целиком, стоило окну начаться раньше экспортёра.
Свежесть реагирует на остановленный поток и возвращается. Через пять минут после конца модельного дня панель показала 305 с у событий и 288 с у заказов; стоило пустить следующий день, события вернулись к секунде. Свежесть заказов при этом растёт до конца дня и садится, когда доедет его слепок, — так и устроен второй источник.

8.6 KiB Raw Blame History Unescape Escape