Files
clickstream-data-platform/docs/architecture/orders/README.md
T
ddadmin bdcbe48b59 feat(orders): добавлен версионный ODS заказов
- Зачем:
  - менти должен различать версию заказа, наблюдение источника и запуск загрузки.
- Что:
  - добавлены таблицы версий и брака заказов, а также представление ods.order_v.
  - даг orders_ingest дополнен строгим переходом одного среза STG в две цели ODS.
  - результаты опытов записаны в документации, дефект генератора вынесен в #102.
- Проверка:
  - make lint config-test smoke check-clickhouse check-services.
2026-08-18 23:10:01 +03:00

6.4 KiB

Заказы бэкенда

Устройство второго источника стенда: раз в модельный день бэкенд магазина выгружает полный слепок заказов окна изменяемости, и деньги в витринах считаются по нему, а не по трекеру. Набор собран картой #69 (этап 3) и правится по мере постройки.

Границы уже решены мастер-спекой «Боевой реализм стенда (v2)»: поля слепка, окно K = 7 как константа мира, три статуса, приоритет классов расхождений, правило «поведение и атрибуцию считаем по трекеру, деньги — по бэкенду». Рамка, перед которой отвечает каждое решение, — «Чем меряется генератор» в спеке генератора: конструкция внутри оправдана только наблюдаемым эффектом на выходе.

Целевая картина одним взглядом

  • Заказ — проекция, не порождение. Торговая половина дня-функции уже посчитала корзину, цены, купон и номер заказа; заказная половина навешивает судьбу и собирает слепок. Ни одного нового броска в торговом подпотоке — откуда берётся заказ.
  • Слепок дня D — чистая функция (зерно, D): состояние заказов, рождённых в дни D−6…D, снятое на границе суток D|D+1. Отправляет его следующий прогон — ночная выгрузка бэкенда за вчера; на проводе — один JSON-документ на заказ — слепок и его доставка.
  • Судьба заказа решается при рождении и обязана уложиться в окно K либо не случиться вовсе. На выходе из окна заказ либо paid, либо cancelledсудьба заказа.
  • Расхождения и опоздания — часть мира, а не грязь: два подпотока — заказная и событийная стороны; броски независимы, пересечения выходят арифметикой, приоритет классов работает по-настоящему — классы расхождений и опоздание.
  • Опись хранит только то, чего движение мира не меняет: хеш байтов каждого слепка и счётчики наблюдаемых классов — что хранит опись.
  • Мост к склейке: план состава владеет человеком; его непрозрачный person_id заказ показывает как user_id, кликстрим остаётся анонимным — мост к склейке.
  • Приём — пакетный забор: одно прямое чтение Kafka в STG, два INSERT SELECT в типизированный ODS и таблицу ошибок; ods.order_snapshot принимает версии заказа на ReplacingMergeTree(updated_at)приём из Kafka в ODS.
  • Стартовый мир отправляет семь слепков (дни 0…6): у последнего прожитого дня клики есть, а заказов нет, и график выручки дозаполняется по ходу мира — заказы в стартовом мире.

Правила, обязательные для кода этапа 3, собраны в правилах кода.

Открытые решения

  • Имя подпотока событийной стороны — вместе с её содержимым на этапе 6; из мёртвых имён никто не бросает, переименование ничего не сдвигает (#72). Заказная сторона уже названа — подпоток ORDERS (судьба заказа).
  • Конкретные веса и доли — таблицы исходов, моментов, задержки опоздания, доли классов, стоимость доставки — калибровка при реализации; финальная фиксация чисел — пересборка эталонного мира, этап 7. При пересборке правки потребуют только числа, не устройство.
  • _load_id выше ODS — вместе с устройством dds.order (#85).
  • Контур проверок качества для расхождений (даг DQ, dm.dq_summary) — остаётся в тумане карты #69; естественное место разговора — этап 4.
  • Каноническое чтение событий ods.event_v — отдельный тикет #86, к механике заказов не привязан.

Родословная

Собрано тикетом #87 по резолюциям развилок карты #69: приём (#70), генератор слепков (#71), расхождения и опоздания (#72), мост к склейке (#73), место в стартовом мире (#74), брак и версии в ODS (#80), форма записи на проводе (#81). Решения о приёме — ADR 0008 и ADR 0010; контракт провода — мастер-спека, раздел 2, и исследование формата слепка. Форма набора — ADR 0011.