feat(ods): версией заказа стала дата слепка, окно DDS — из данных
- Зачем:
- ярлык snapshot_date выжившей строки доставался жребием, а объём
пересборки DDS держался на константе окна с двумя несверяемыми копиями
(ADR 0014, развилка #163).
- Что:
- ods.order_rep переведена на ReplacingMergeTree(snapshot_date): выживает
строка позднейшего слепка, ярлык стал правдивым.
- order_scope.sql выводит окно из дней последнего слепка; ORDER_WINDOW_DAYS
и параметр window_days сняты со стенда, мёртвая защита краем источника
убрана.
- документы и комментарии SQL приведены к ADR 0014: роль ODS, условие
«одна дата — один слепок», объём прогона и слепые пятна конвейера.
- Проверка:
- make lint; make rebuild-storage, затем make smoke, make check-clickhouse,
make check-services — зелёные.
- после двух слепков snapshot_date всех 1917 строк ods.order_v равен
последнему слепку заказа, расхождений ноль; деловые поля построчно
совпали с эталоном argMax по updated_at из сырья.
- dds_transform без K: первый прогон 06-01…06-07, после нового дня мира
06-02…06-08, повтор прогона содержимого не изменил.
Closes #165
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
This commit is contained in:
1 parent
650efacc3f
commit
a82c75705d
13 files changed
+140
-141
No files matched your search
@@ -48,16 +48,6 @@ x-kafka-target: &kafka-target
|
||||
|
||||
x-world-starting-days: &world-starting-days "8"
|
||||
|
||||
# Окно изменяемости заказа: слепок бэкенда несёт заказы последних K дней, за
|
||||
# окном заказ замерзает. Число принадлежит модельному миру, и владелец у него
|
||||
# один — generator/world.py (ORDER_WINDOW_DAYS): сделать окно настройкой
|
||||
# генератора значило бы разрешить менять физику мира снаружи, а опись мира
|
||||
# держится на её неизменности. Стенду копия нужна затем, что по этому же числу
|
||||
# трансформация DDS решает, какие дни пересобирать. Разойдутся — пересборка
|
||||
# промахнётся по краю окна. Сверять копии некому, и это осознанно: слепые пятна
|
||||
# конвейера собраны в docs/architecture/etl.md и адресованы контуру DQ.
|
||||
x-order-window-days: &order-window-days "7"
|
||||
|
||||
x-airflow-common: &airflow-common
|
||||
image: clickstream-airflow:local
|
||||
build:
|
||||
@@ -87,7 +77,6 @@ x-airflow-common: &airflow-common
|
||||
STAND_NETWORK: ${COMPOSE_PROJECT_NAME}_default
|
||||
WORLD_STARTING_DAYS: *world-starting-days
|
||||
KAFKA_ORDERS_TOPIC: *orders-topic
|
||||
ORDER_WINDOW_DAYS: *order-window-days
|
||||
volumes:
|
||||
- ./dags:/opt/airflow/dags:ro
|
||||
# Запросы дагов: даг называет файл, а обработчик DAG при разборе загружает
|
||||
|
||||
Reference in new issue
Block a user