feat(dds): добавлена карта идентичностей
- Зачем: - реализованы требования issue #153 к мосту между кукой и пользователем. - Что: - добавлены физическая карта, точное представление и полный пересчёт через GLOBAL JOIN. - задача identity_map поставлена после сборки заказов в dds_transform. - устройство и живые проверки карты записаны в документации хранилища. - Проверка: - make lint, make smoke, make check-clickhouse, make check-services. - три запуска dds_transform: 4770 физических строк и 1590 уникальных пар в _v.
This commit is contained in:
1 parent
cdd44c469f
commit
39ff0b5bb4
5 files changed
+124
-21
No files matched your search
@@ -587,6 +587,8 @@ SQL-файлы исполняет штатный `SQLExecuteQueryOperator`. Пр
|
||||
| `dds` | `dds.session_rep` / `_dist` | визит, нарезанный слоем; партиция — день сессии |
|
||||
| `dds` | `dds.session_stage_rep` / `_dist` | двойник сессии: в нём день собирается перед заменой партиции |
|
||||
| `dds` | `dds.session_v` | публичный договор сессии |
|
||||
| `dds` | `dds.identity_map_rep` / `_dist` | известная пара куки с пользователем; таблицы полного пересчёта |
|
||||
| `dds` | `dds.identity_map_v` | точный публичный договор карты идентичностей с `FINAL` |
|
||||
| `dic` | `dic.products_file` | чтец CSV-каталога, общего с генератором |
|
||||
| `dic` | `dic.products` | словарь товаров поверх подложки |
|
||||
|
||||
@@ -594,11 +596,11 @@ SQL-файлы исполняет штатный `SQLExecuteQueryOperator`. Пр
|
||||
`INSERT SELECT` одной задачи `parse_batch` из файла
|
||||
`sql/ods/order_parse.sql`.
|
||||
|
||||
В слое DDS построены событие, заказ и сессия, и устроены они намеренно
|
||||
по-разному: событие остаётся представлением над ODS, у заказа и сессии —
|
||||
физические модели. Карту идентичностей и слой DM принесут следующие тикеты
|
||||
этапа. Их состав задан разделом 7 мастер-спеки и переносится сюда по мере
|
||||
постройки.
|
||||
В слое DDS построены событие, заказ, сессия и карта идентичностей. Событие
|
||||
остаётся представлением над ODS; заказ и сессия гасят повтор заменой партиции;
|
||||
карта пишет полный набор пар в версионную таблицу. Слой DM принесут следующие
|
||||
тикеты этапа. Его состав задан разделом 7 мастер-спеки и переносится сюда по
|
||||
мере постройки.
|
||||
|
||||
## Что проверено
|
||||
|
||||
@@ -818,6 +820,11 @@ Kafka с пустым значением (ноль байт) и запись-н
|
||||
двойник разложила 1662 заказа строго по ключу: шард 1 получил только чётные
|
||||
`cityHash64(order_id)`, шард 2 — только нечётные.
|
||||
|
||||
**Проверка карты идентичностей 26 августа 2026 года (#153).** Context7
|
||||
подтвердил версию в `ReplacingMergeTree` и точное чтение через `FINAL`. Два
|
||||
полных прогона оставили 3180 физических строк и 1590 пар в `_v`; все пары
|
||||
подтверждены покупкой и заказом, а строк на чужом шарде нет.
|
||||
|
||||
Тем же днём измерены ещё три поведения ClickHouse.
|
||||
|
||||
- **Параметр в `ALTER … PARTITION` не подставляется.** Запрос с `{day:Date}` в
|
||||
|
||||
Reference in new issue
Block a user