- Зачем: - конвейеру нужна публикуемая сводка текущего качества с красным завершением при нарушении договоров. - Что: - добавлены DDL, публичное представление и пять сверок на естественном деловом зерне. - даг dq_check встроен после DM и публикует полные дневные партиции до именованных утверждений. - параллелизм DDS, DM и DQ приведён к измеренному лимиту памяти планировщика. - Проверка: - make lint; make config-test; make rebuild-storage. - make smoke; make check-clickhouse; make check-services. - три семейства проверок покрашены искусственными расхождениями и восстановлены повторным полным прогоном.
18 lines
749 B
SQL
18 lines
749 B
SQL
-- DQ: стендовая сторона технической растяжки от описи мира.
|
||
--
|
||
-- Эталонные счётчики читает Airflow из world-inventory.json: у настоящего
|
||
-- магазина такого оракула нет. Запрос возвращает только наблюдаемую сторону;
|
||
-- Python-задача сопоставляет ее с тремя счетчиками закрытого дня из описи.
|
||
SELECT
|
||
order_day AS data_date,
|
||
mismatch_class,
|
||
count() AS orders
|
||
FROM dm.purchase_vs_orders_v
|
||
WHERE mismatch_class IN ('match', 'cancelled', 'amount_delta')
|
||
GROUP BY
|
||
data_date,
|
||
mismatch_class
|
||
ORDER BY
|
||
data_date,
|
||
mismatch_class
|