feat(dq): добавлен контроль качества конвейера
- Зачем: - конвейеру нужна публикуемая сводка текущего качества с красным завершением при нарушении договоров. - Что: - добавлены DDL, публичное представление и пять сверок на естественном деловом зерне. - даг dq_check встроен после DM и публикует полные дневные партиции до именованных утверждений. - параллелизм DDS, DM и DQ приведён к измеренному лимиту памяти планировщика. - Проверка: - make lint; make config-test; make rebuild-storage. - make smoke; make check-clickhouse; make check-services. - три семейства проверок покрашены искусственными расхождениями и восстановлены повторным полным прогоном.
This commit is contained in:
1 parent
4e60aafc31
commit
26b2e5fea1
17 files changed
+753
-38
No files matched your search
@@ -0,0 +1,17 @@
|
||||
-- DQ: стендовая сторона технической растяжки от описи мира.
|
||||
--
|
||||
-- Эталонные счётчики читает Airflow из world-inventory.json: у настоящего
|
||||
-- магазина такого оракула нет. Запрос возвращает только наблюдаемую сторону;
|
||||
-- Python-задача сопоставляет ее с тремя счетчиками закрытого дня из описи.
|
||||
SELECT
|
||||
order_day AS data_date,
|
||||
mismatch_class,
|
||||
count() AS orders
|
||||
FROM dm.purchase_vs_orders_v
|
||||
WHERE mismatch_class IN ('match', 'cancelled', 'amount_delta')
|
||||
GROUP BY
|
||||
data_date,
|
||||
mismatch_class
|
||||
ORDER BY
|
||||
data_date,
|
||||
mismatch_class
|
||||
Reference in new issue
Block a user