feat(dq): добавлен контроль качества конвейера

- Зачем:
  - конвейеру нужна публикуемая сводка текущего качества с красным завершением при нарушении договоров.
- Что:
  - добавлены DDL, публичное представление и пять сверок на естественном деловом зерне.
  - даг dq_check встроен после DM и публикует полные дневные партиции до именованных утверждений.
  - параллелизм DDS, DM и DQ приведён к измеренному лимиту памяти планировщика.
- Проверка:
  - make lint; make config-test; make rebuild-storage.
  - make smoke; make check-clickhouse; make check-services.
  - три семейства проверок покрашены искусственными расхождениями и восстановлены повторным полным прогоном.
This commit is contained in:
ddadmin committed 2026-08-27 07:55:28 -04:00
1 parent 4e60aafc31
commit 26b2e5fea1
17 files changed
+753 -38

No files matched your search

+4 -3
View File
@@ -76,9 +76,10 @@ def replacements(scope: dict[str, object]) -> list[dict[str, object]]:
start_date=START_DATE,
is_paused_upon_creation=False,
max_active_runs=1,
# Каждая задача LocalExecutor - отдельный процесс. Четыре процесса уже
# дали SIGKILL при лимите scheduler 640 МиБ; три - измеренный потолок DDS.
max_active_tasks=3,
# Каждая задача LocalExecutor — отдельный процесс. После появления
# dq_check три одновременные сборки DM получили SIGKILL при лимите
# scheduler 640 МиБ; две оставляют запас и сохраняют параллельность.
max_active_tasks=2,
template_searchpath=str(SQL_ROOT),
tags=["dm"],
)