feat(dq): добавлен контроль качества конвейера
- Зачем: - конвейеру нужна публикуемая сводка текущего качества с красным завершением при нарушении договоров. - Что: - добавлены DDL, публичное представление и пять сверок на естественном деловом зерне. - даг dq_check встроен после DM и публикует полные дневные партиции до именованных утверждений. - параллелизм DDS, DM и DQ приведён к измеренному лимиту памяти планировщика. - Проверка: - make lint; make config-test; make rebuild-storage. - make smoke; make check-clickhouse; make check-services. - три семейства проверок покрашены искусственными расхождениями и восстановлены повторным полным прогоном.
This commit is contained in:
1 parent
4e60aafc31
commit
26b2e5fea1
17 files changed
+753
-38
No files matched your search
@@ -76,9 +76,10 @@ def replacements(scope: dict[str, object]) -> list[dict[str, object]]:
|
||||
start_date=START_DATE,
|
||||
is_paused_upon_creation=False,
|
||||
max_active_runs=1,
|
||||
# Каждая задача LocalExecutor - отдельный процесс. Четыре процесса уже
|
||||
# дали SIGKILL при лимите scheduler 640 МиБ; три - измеренный потолок DDS.
|
||||
max_active_tasks=3,
|
||||
# Каждая задача LocalExecutor — отдельный процесс. После появления
|
||||
# dq_check три одновременные сборки DM получили SIGKILL при лимите
|
||||
# scheduler 640 МиБ; две оставляют запас и сохраняют параллельность.
|
||||
max_active_tasks=2,
|
||||
template_searchpath=str(SQL_ROOT),
|
||||
tags=["dm"],
|
||||
)
|
||||
|
||||
Reference in new issue
Block a user