feat(dq): добавлен контроль качества конвейера
- Зачем: - конвейеру нужна публикуемая сводка текущего качества с красным завершением при нарушении договоров. - Что: - добавлены DDL, публичное представление и пять сверок на естественном деловом зерне. - даг dq_check встроен после DM и публикует полные дневные партиции до именованных утверждений. - параллелизм DDS, DM и DQ приведён к измеренному лимиту памяти планировщика. - Проверка: - make lint; make config-test; make rebuild-storage. - make smoke; make check-clickhouse; make check-services. - три семейства проверок покрашены искусственными расхождениями и восстановлены повторным полным прогоном.
This commit is contained in:
1 parent
4e60aafc31
commit
26b2e5fea1
17 files changed
+753
-38
No files matched your search
@@ -355,6 +355,10 @@ def dds_transform():
|
||||
conn_id=CLICKHOUSE_CONNECTION,
|
||||
sql="dds/order_replace.sql",
|
||||
do_xcom_push=False,
|
||||
# Замены не зависят друг от друга, но каждая — отдельный процесс
|
||||
# LocalExecutor. Три разом получили SIGKILL при лимите scheduler
|
||||
# 640 МиБ; последовательность не меняет деловой результат.
|
||||
max_active_tis_per_dag=1,
|
||||
).expand_kwargs(replacements(days))
|
||||
|
||||
rebuild >> replace
|
||||
@@ -416,6 +420,8 @@ def dds_transform():
|
||||
conn_id=CLICKHOUSE_CONNECTION,
|
||||
sql="dds/session_replace.sql",
|
||||
do_xcom_push=False,
|
||||
# Причина единицы разобрана у order.replace выше.
|
||||
max_active_tis_per_dag=1,
|
||||
).expand_kwargs(replacements(days))
|
||||
|
||||
rebuild >> replace
|
||||
|
||||
Reference in new issue
Block a user