docs(monitoring): убраны повтор заголовков, запрет и двойной довод
- Зачем:
- таблица панелей дублировала заголовки из data.json и уже правилась
дважды; заголовок раздела называл запрещённое действие вместо нужного;
довод про отвергнутые способы счёта сходимости стоял в двух местах.
- Что:
- в таблице панелей остались только источники, вопрос панели читается с её
заголовка на экране.
- раздел про чтецов Kafka назван по тому, что панели делают, опасность
kafka_commit_on_select осталась внутри как причина.
- из записи о приёмке убран пересказ довода, замер оставлен.
- Проверка:
- make config-test; make lint.
This commit is contained in:
1 parent
61eb2680ff
commit
ee0306d19e
1 file changed
+17
-16
@@ -7,14 +7,17 @@
|
||||
Порогов и цветовых вердиктов на панелях нет: на дашборд смотрят глазами,
|
||||
красное и зелёное живёт в проверках и дагах DQ.
|
||||
|
||||
| Панель | Откуда берёт | О чём отвечает |
|
||||
|---|---|---|
|
||||
| Свежесть | `ods.event_dist`, `ods.order_dist` | сколько прошло с последней доехавшей строки |
|
||||
| Поток | `stg.hits_raw_dist`, `stg.orders_raw_dist` | сколько строк приезжает в слой сырья |
|
||||
| Брак | те же и `ods.*_errors_dist` | сколько приехавшего не разобралось и какая это доля |
|
||||
| Сходимость | экспортёр Kafka и `stg.hits_raw_dist` | произведённое против приземлившегося |
|
||||
| Отставание | `kafka_consumergroup_lag` | сколько сообщений не прочитано |
|
||||
| Дневной слепок | `stg.orders_raw_dist` | какой слепок доехал, когда и после какой паузы |
|
||||
Свой вопрос каждая панель называет заголовком прямо на экране. Здесь — только
|
||||
источники: разговор ниже про них.
|
||||
|
||||
| Панель | Откуда берёт |
|
||||
|---|---|
|
||||
| Свежесть | `ods.event_dist`, `ods.order_dist` |
|
||||
| Поток | `stg.hits_raw_dist`, `stg.orders_raw_dist` |
|
||||
| Брак | те же и `ods.*_errors_dist` |
|
||||
| Сходимость | экспортёр Kafka и `stg.hits_raw_dist` |
|
||||
| Отставание | `kafka_consumergroup_lag` |
|
||||
| Дневной слепок | `stg.orders_raw_dist` |
|
||||
|
||||
## Почему слои у панелей разные
|
||||
|
||||
@@ -51,13 +54,13 @@
|
||||
укладываются в минуты реального времени, и соседние дни мира помещаются в одно
|
||||
окно панели сами.
|
||||
|
||||
## Чтецов Kafka панели не читают
|
||||
## Приземлившееся считают по слою сырья
|
||||
|
||||
`stg.hits_raw_kafka` и `stg.orders_raw_kafka` — таблицы движка Kafka, а не
|
||||
хранилище: запрос из панели у второго забрал бы слепок себе и сдвинул офсеты
|
||||
(`kafka_commit_on_select`, см. `sql/ddl/10-stg-tables.sql`), а даг приёма
|
||||
приехал бы к пустому топику. Приземлившееся панели считают по `stg.*_raw_dist`,
|
||||
произведённое — по метрикам экспортёра.
|
||||
Приземлившееся панели считают по `stg.*_raw_dist`, произведённое — по метрикам
|
||||
экспортёра. Таблицы движка Kafka `stg.hits_raw_kafka` и `stg.orders_raw_kafka`
|
||||
хранилищем не работают: у второго стоит `kafka_commit_on_select`
|
||||
(`sql/ddl/10-stg-tables.sql`), и запрос из панели забрал бы слепок себе,
|
||||
сдвинул офсеты, а даг приёма приехал бы к пустому топику.
|
||||
|
||||
## Как считается сходимость
|
||||
|
||||
@@ -110,8 +113,6 @@ Kafka идёт чуть выше. Читается устойчивый разр
|
||||
`stg.hits_raw_rep` и `ods.event_errors_rep`, обе таблицы вернулись к нулю.
|
||||
- Сходимость: на живом потоке за двадцать пять минут медиана расхождения между
|
||||
рядами 3 %, худший столбец 11 % — на переломе потока, как и описано выше.
|
||||
Отказы тоже по замеру: `increase` расходился сильнее, а накопленный итог
|
||||
пропадал целиком, стоило окну начаться раньше экспортёра.
|
||||
- Свежесть реагирует на остановленный поток и возвращается. Через пять минут
|
||||
после конца модельного дня панель показала 305 с у событий и 288 с у
|
||||
заказов; стоило пустить следующий день, события вернулись к секунде.
|
||||
|
||||
Reference in new issue
Block a user