feat(monitoring): add Grafana alert rules and fix datasource binding
- Why: - dashboard panels could resolve to stale datasource uid and show No data - monitoring required proactive alerts for ClickHouse health signals - What: - pin dashboard panels to prometheus_uid and remove datasource templating variable - fix PromQL metrics for CPU, inserted rows, and parts panels - add provisioning alert rules for failed queries, memory resident, and active parts - pin Prometheus datasource uid and update monitoring documentation - Check: - POST /api/admin/provisioning/datasources/reload - POST /api/admin/provisioning/dashboards/reload - POST /api/admin/provisioning/alerting/reload - GET /api/v1/provisioning/alert-rules
This commit is contained in:
@@ -241,6 +241,11 @@ flowchart LR
|
||||
- Query Performance: queries/sec, active queries, failed queries
|
||||
- MergeTree Storage: parts count, merge rate
|
||||
|
||||
Что алертится:
|
||||
- Failed queries rate (`rate(ClickHouseProfileEvents_FailedQuery[5m]) > 0`)
|
||||
- Memory Resident > 85% от `OSMemoryTotal`
|
||||
- Active parts > 500
|
||||
|
||||
Конфигурация provisioning находится в [`configs/grafana/provisioning/`](configs/grafana/provisioning/). Подробнее в [`docs/OPERATIONS.md`](docs/OPERATIONS.md#мониторинг).
|
||||
|
||||
---
|
||||
@@ -263,12 +268,11 @@ flowchart LR
|
||||
- **Трансформации**: DAG `etl_pipeline` (pre-check, batch STG→ODS→DDS→DM, валидация)
|
||||
- **Витрины**: VIEW в DM для бизнес-дашбордов (трафик, UTM, качество данных)
|
||||
- **Надёжность**: ошибки парсинга сохраняются в ODS, пайплайн не падает на "грязных" данных
|
||||
- **Мониторинг**: Prometheus скрейпит ClickHouse метрики, Grafana дашборд для визуализации
|
||||
- **Мониторинг**: Prometheus скрейпит ClickHouse метрики, Grafana дашборд и alert rules
|
||||
|
||||
В планах (не требуется для MVP задания):
|
||||
- Инкрементальный batch (watermark вместо `full_refresh`)
|
||||
- DQ мониторинг по расписанию
|
||||
- Алерты в Grafana
|
||||
|
||||
---
|
||||
|
||||
|
||||
Reference in New Issue
Block a user