feat(dq): добавлен контроль качества конвейера
- Зачем: - конвейеру нужна публикуемая сводка текущего качества с красным завершением при нарушении договоров. - Что: - добавлены DDL, публичное представление и пять сверок на естественном деловом зерне. - даг dq_check встроен после DM и публикует полные дневные партиции до именованных утверждений. - параллелизм DDS, DM и DQ приведён к измеренному лимиту памяти планировщика. - Проверка: - make lint; make config-test; make rebuild-storage. - make smoke; make check-clickhouse; make check-services. - три семейства проверок покрашены искусственными расхождениями и восстановлены повторным полным прогоном.
This commit is contained in:
1 parent
4e60aafc31
commit
26b2e5fea1
17 files changed
+753
-38
No files matched your search
@@ -13,8 +13,8 @@
|
||||
|
||||
Дневной конвейер на стенде один — даг `etl_pipeline`. Своей работы
|
||||
у него нет: он дёргает слойные даги последовательно и ждёт каждый —
|
||||
`dds_transform`, затем `dm_transform`. Будущее звено DQ встанет после DM.
|
||||
Его состав описан в [доке слоя DM](dm.md).
|
||||
`dds_transform`, затем `dm_transform` и `dq_check`. Состав проверок описан в
|
||||
[доке слоя DM](dm.md).
|
||||
|
||||
Ждущие вызовы сделаны `TriggerDagRunOperator`. Проверка через Context7 по
|
||||
ближайшей доступной документации Airflow 3.x (версия 3.1.6) подтвердила, что
|
||||
@@ -28,7 +28,7 @@
|
||||
|
||||
```text
|
||||
world_initialize ─┐
|
||||
world_live_day ───┼─> etl_pipeline ─> dds_transform ─> dm_transform
|
||||
world_live_day ───┼─> etl_pipeline ─> dds_transform ─> dm_transform ─> dq_check
|
||||
запуск рукой ─────┘
|
||||
|
||||
world_next_day ─────> источники без ETL
|
||||
@@ -140,8 +140,8 @@ ODS и ещё не собранный в DDS, затем при необходи
|
||||
диапазон, включая форму необязательных параметров того же дага, — этап 5
|
||||
(#7); туда же стык #111 про дату модельного мира и `logical_date`.
|
||||
- Инкрементальный ETL вместо пересборки — техдолг #2.
|
||||
- Состав витрин `dm_transform` и звена DQ — [дока слоя DM](dm.md);
|
||||
имена задач — нарезка этапа 4.
|
||||
- Состав витрин `dm_transform` и проверок `dq_check` —
|
||||
[дока слоя DM](dm.md).
|
||||
|
||||
## Отклонённые варианты
|
||||
|
||||
|
||||
Reference in new issue
Block a user