fix(grafana): добавлено Reduce перед порогами алертов
- Зачем: - диапазонные запросы Prometheus возвращали временные ряды, из-за чего Grafana не вычисляла алерты Airflow и Kafka. - Что: - между запросом Prometheus и Threshold добавлен Reduce(last) в семи правилах, а аннотации переведены на итоговое число. - добавлены регрессионные тесты конфигурации и зависимость PyYAML для их запуска. - в уроке 5 уточнено время срабатывания и восстановления алерта scheduler. - Проверка: - uv run --with-requirements generator/requirements.txt pytest tests/ -q -p no:cacheprovider: 33 passed. - uv run --with-requirements requirements.txt pytest tests/ -q -p no:cacheprovider из generator: 218 passed. - Docker Compose config и вычисление правил в Grafana 11.5.2 прошли успешно.
This commit is contained in:
1 parent
ffd467bf43
commit
335e5e7612
5 files changed
+114
-43
No files matched your search
@@ -304,9 +304,10 @@ docker compose ps airflow-scheduler
|
||||
docker compose stop airflow-scheduler
|
||||
```
|
||||
|
||||
Подожди 2-3 минуты. У правила `Airflow Scheduler Down` стоит окно `for: 2m`, поэтому алерт не
|
||||
обязан покраснеть мгновенно. Это нормальное поведение: мониторинг защищается от коротких
|
||||
миганий.
|
||||
Подожди около 5 минут. После остановки scheduler значение `rate(...[5m])` снижается постепенно.
|
||||
При интервале heartbeat в 5 секунд порог будет пройден примерно через 2,5 минуты. Затем Grafana
|
||||
ещё 2 минуты держит правило в состоянии `Pending` из-за `for: 2m`. Точное время зависит от
|
||||
моментов сбора метрик и вычисления правила.
|
||||
|
||||
Что ожидаем:
|
||||
|
||||
@@ -326,7 +327,8 @@ docker compose stop airflow-scheduler
|
||||
docker compose up -d airflow-scheduler
|
||||
```
|
||||
|
||||
Подожди ещё 2-3 минуты и проверь:
|
||||
Подожди ещё около 3 минут: пятиминутному окну `rate` нужно накопить достаточно новых сигналов
|
||||
heartbeat. Затем проверь:
|
||||
|
||||
- `docker compose ps airflow-scheduler` показывает running/up;
|
||||
- **Scheduler Heartbeat Rate** снова растёт;
|
||||
|
||||
Reference in new issue
Block a user