Мониторинг: справочник зоны — в набор документов #122
No files matched your search
@@ -1,4 +1,4 @@
|
|||||||
# Мониторинг: из чего собран и что скребёт
|
# Мониторинг: из чего собран и за чем следит
|
||||||
|
|
||||||
Набор описывает зону мониторинга: какие сервисы в неё входят, что собирает
|
Набор описывает зону мониторинга: какие сервисы в неё входят, что собирает
|
||||||
Prometheus, какие источники данных подготовлены в Grafana, каким пользователем
|
Prometheus, какие источники данных подготовлены в Grafana, каким пользователем
|
||||||
@@ -24,7 +24,7 @@ ClickHouse, два подготовленных источника данных,
|
|||||||
Плагин ClickHouse 4.20.0 входит в образ Grafana. Фоновая установка плагинов
|
Плагин ClickHouse 4.20.0 входит в образ Grafana. Фоновая установка плагинов
|
||||||
при запуске отключена.
|
при запуске отключена.
|
||||||
|
|
||||||
## Что скребёт Prometheus
|
## Кого опрашивает Prometheus
|
||||||
|
|
||||||
| Цель | Задание | Метка `role` | Откуда метрики |
|
| Цель | Задание | Метка `role` | Откуда метрики |
|
||||||
|---|---|---|---|
|
|---|---|---|---|
|
||||||
|
|||||||
@@ -8,7 +8,7 @@
|
|||||||
красное и зелёное живёт в проверках и дагах DQ.
|
красное и зелёное живёт в проверках и дагах DQ.
|
||||||
|
|
||||||
Свой вопрос каждая панель называет заголовком прямо на экране. Здесь — только
|
Свой вопрос каждая панель называет заголовком прямо на экране. Здесь — только
|
||||||
источники: разговор ниже про них.
|
источники, о них и речь ниже.
|
||||||
|
|
||||||
| Панель | Откуда берёт |
|
| Панель | Откуда берёт |
|
||||||
|---|---|
|
|---|---|
|
||||||
@@ -27,7 +27,7 @@
|
|||||||
|
|
||||||
Читает свежесть физическую `_dist`, а не каноническое `ods.*_v`. Представление
|
Читает свежесть физическую `_dist`, а не каноническое `ods.*_v`. Представление
|
||||||
прячет за собой `FINAL` и отвечает про текущее состояние сущностей, а вопрос
|
прячет за собой `FINAL` и отвечает про текущее состояние сущностей, а вопрос
|
||||||
здесь про доставку: местом диагностики доставленных версий физическая таблица
|
здесь про доставку. Местом диагностики доставленных версий физическая таблица
|
||||||
названа там же, где заведено представление (`sql/ddl/30-ods-views.sql`).
|
названа там же, где заведено представление (`sql/ddl/30-ods-views.sql`).
|
||||||
|
|
||||||
Поток и брак считаются по слою сырья. Сырьё записывает каждую доставку и ничего
|
Поток и брак считаются по слою сырья. Сырьё записывает каждую доставку и ничего
|
||||||
@@ -67,7 +67,7 @@
|
|||||||
Произведённое живёт в Kafka, приземлившееся — в ClickHouse, и со своей стороны
|
Произведённое живёт в Kafka, приземлившееся — в ClickHouse, и со своей стороны
|
||||||
ни одна из них не видит другую. Поэтому панель смешанная: ряд «произведено в
|
ни одна из них не видит другую. Поэтому панель смешанная: ряд «произведено в
|
||||||
Kafka» приходит из Prometheus, ряд «приземлилось в ClickHouse» — из ClickHouse.
|
Kafka» приходит из Prometheus, ряд «приземлилось в ClickHouse» — из ClickHouse.
|
||||||
Единицы общие — сообщений за интервал панели. Со стороны Kafka это разность
|
Единицы общие: сообщения за интервал панели. Со стороны Kafka это разность
|
||||||
офсетов топика, «сейчас минус интервал назад», с суммой по обеим партициям; со
|
офсетов топика, «сейчас минус интервал назад», с суммой по обеим партициям; со
|
||||||
стороны ClickHouse — `count()` строк сырья по тому же интервалу.
|
стороны ClickHouse — `count()` строк сырья по тому же интервалу.
|
||||||
|
|
||||||
@@ -87,8 +87,8 @@ Kafka» приходит из Prometheus, ряд «приземлилось в C
|
|||||||
|
|
||||||
Точка в точку ряды всё равно не совпадут, и ждать этого не надо: опрос
|
Точка в точку ряды всё равно не совпадут, и ждать этого не надо: опрос
|
||||||
экспортёра не попадает на границы столбцов, поэтому на разгоне потока линия
|
экспортёра не попадает на границы столбцов, поэтому на разгоне потока линия
|
||||||
Kafka идёт чуть выше. Читается устойчивый разрыв между линиями, а не разница в
|
Kafka идёт чуть выше. Читать надо устойчивый разрыв между линиями; разница в
|
||||||
один столбец.
|
один столбец не значит ничего.
|
||||||
|
|
||||||
Панель смотрит на топик событий. У него приём непрерывный, и разрыв виден
|
Панель смотрит на топик событий. У него приём непрерывный, и разрыв виден
|
||||||
сразу. Слепок заказов уезжает пачкой раз в модельные сутки, и вопрос к нему
|
сразу. Слепок заказов уезжает пачкой раз в модельные сутки, и вопрос к нему
|
||||||
|
|||||||
Reference in new issue
Block a user