feat(orders): добавлен версионный ODS заказов
- Зачем: - менти должен различать версию заказа, наблюдение источника и запуск загрузки. - Что: - добавлены таблицы версий и брака заказов, а также представление ods.order_v. - даг orders_ingest дополнен строгим переходом одного среза STG в две цели ODS. - результаты опытов записаны в документации, дефект генератора вынесен в #102. - Проверка: - make lint config-test smoke check-clickhouse check-services.
This commit is contained in:
@@ -57,9 +57,6 @@
|
||||
доли классов, стоимость доставки — калибровка при реализации; финальная
|
||||
фиксация чисел — пересборка эталонного мира, этап 7. При пересборке правки
|
||||
потребуют только числа, не устройство.
|
||||
- **Проверки приёма** — опыты из [«Рисков и проверки»](ingestion.md) про брак
|
||||
и версии в ODS — тикет перехода STG → ODS (#94). Допущение «один запуск —
|
||||
одно чтение» принято живым прогоном при исполнении #93.
|
||||
- **`_load_id` выше ODS** — вместе с устройством `dds.order` (#85).
|
||||
- **Контур проверок качества для расхождений** (даг DQ, `dm.dq_summary`) —
|
||||
остаётся в тумане карты #69; естественное место разговора — этап 4.
|
||||
|
||||
@@ -60,10 +60,10 @@ JSON-объектом с точным набором ключей: `order_id`, `
|
||||
`items`, `snapshot_date`.
|
||||
|
||||
Скалярные поля проверяются по типу JSON. Деньги дополнительно обязаны быть
|
||||
строками с ровно двумя знаками после точки, времена — строками RFC 3339 в UTC с
|
||||
обязательными миллисекундами, дата слепка — строкой `YYYY-MM-DD`. `items`
|
||||
проверяется только как JSON-массив. Каноническая форма и основания выбора
|
||||
зафиксированы в
|
||||
строками неотрицательной суммы с ровно двумя знаками после точки — минус в эту
|
||||
форму не входит; времена — строками RFC 3339 в UTC с обязательными
|
||||
миллисекундами; дата слепка — строкой `YYYY-MM-DD`. `items` проверяется только
|
||||
как JSON-массив. Каноническая форма и основания выбора зафиксированы в
|
||||
[исследовании формата](../../research/2026-08-16-order-snapshot-wire-format.md).
|
||||
|
||||
Проверять все верхнеуровневые поля здесь уместно: их одиннадцать, и десять
|
||||
@@ -156,6 +156,23 @@ JSON-объектом с точным набором ключей: `order_id`, `
|
||||
|
||||
## Что проверено
|
||||
|
||||
Переход STG → ODS снят на живом стенде 18 августа 2026 года при исполнении #94.
|
||||
Опыты этого раздела прогнаны и подтвердили обещанное: разбиение сырья на годные
|
||||
строки и брак полное и непересекающееся; две версии одного заказа легли в одну
|
||||
партицию и на один шард, а `ods.order_v` вернуло позднюю независимо от фонового
|
||||
слияния; повтор задачи с тем же `_load_id` строку в `ods.order_v` и её
|
||||
`_load_ts` не изменил, а таблица ошибок записала тот же брак второй раз; строки
|
||||
опытов убраны. Числа, механика опытов и поведение ClickHouse, на которое всё это
|
||||
опирается, — [документ хранилища](../storage.md), «Что проверено».
|
||||
|
||||
Одно расхождение с ожиданием осталось, и оно снаружи приёма: восемь настоящих
|
||||
строк слепка получили класс `field_invalid` — все версии одного заказа с
|
||||
отрицательным `total`. Класс заслужен, граница верна, дефект в генераторе и
|
||||
заведён отдельным issue
|
||||
[#102](https://git.dementev.space/ddmitry/clickstream-data-platform/issues/102).
|
||||
Пока он не починен, критерий «честный прогон дня даёт пустой `_errors`» на
|
||||
стартовом мире не выполняется.
|
||||
|
||||
Забор из Kafka в STG снят на живом стенде 18 августа 2026 года при исполнении
|
||||
#93: одно прямое чтение приносит весь слепок дня, метаданные доставки доступны,
|
||||
офсеты коммитятся, а сбой забора не двигает позицию мира. Числа — [ADR
|
||||
|
||||
Reference in New Issue
Block a user