feat(dds): добавлен публичный контракт события

Зачем:
- Показать слой DDS как договор данных, которому не нужна физическая копия.
- Сохранить простой учебный стенд без отдельного маршрута ради узких прав.

Что:
- Добавлено кластерное представление dds.event_v с явными 44 колонками.
- Роли bi_reader разрешено чтение ODS, DDS и DM при договоре чтения через _v.
- Согласованы мастер-спека, ADR, справочники архитектуры и живые тикеты этапа.
- Зафиксировано исследование поведения DEFINER поверх Distributed.

Проверка:
- make config-test
- make smoke
- make check-clickhouse
- Приёмочные запросы: равенство ODS/DDS, состав колонок, коды устройств и права bi.
This commit is contained in:
ddadmin committed 2026-08-25 17:13:35 -04:00
1 parent 4ea9591a16
commit 9ea361d199
11 files changed
+288 -76

No files matched your search

+5 -4
View File
@@ -14,8 +14,9 @@ Prometheus, Grafana, экспортёр метрик Kafka и общая баз
целиком со стороны клиента: у него есть контракт схемы события, из которого
собрано [описание выгрузки](docs/formats/clickstream-event.md), модельный мир и
проигрыватель, отправляющий дни в Kafka или в файл. События доезжают до
типизированного `ods.event`, а `make up` наполняет стенд стартовым миром —
первой неделей модельного времени.
типизированного `ods.event`, а `dds.event_v` отдаёт их на языке бизнес-модели
без копии данных. `make up` наполняет стенд стартовым миром — первой неделей
модельного времени.
## Быстрый старт
@@ -302,8 +303,8 @@ uv run --project generator python -m clickstream_generator batch \
хранилища;
- `lifecycle` применяет канонический DDL и пересоздаёт прикладные базы; роль
`lifecycle_owner` не даёт эти административные права рабочим дагам;
- `bi` подключает Superset; роль `bi_reader` читает справочники `dic` и будущие
слои DDS и DM;
- `bi` подключает Superset; роль `bi_reader` читает ODS, DDS, DM и справочники
`dic`, а запросы Superset обращаются к публичным `_v`;
- `analyst` предназначен для подключения человека и читает все слои и
справочники;
- `grafana` с ролью `monitoring_reader` подключает Grafana и читает все слои,
+32 -21
View File
@@ -1,11 +1,12 @@
# ADR 0007. Доступ к ClickHouse: пользователи файлом, доверие нод секретом
Дата: 9 августа 2026 года. Статус: принято; роль `monitoring_reader`
и пользователь `grafana` добавлены 21 августа 2026 года (#114).
и пользователь `grafana` добавлены 21 августа 2026 года (#114), права
`bi_reader` расширены до ODS, DDS и DM 25 августа 2026 года (#150).
## Решение
У кластера шесть пользователей и пять ролей.
У кластера семь пользователей и шесть ролей.
- `default` — с паролем, только служебный: проверки здоровья нод и работа
изнутри контейнеров. Приложения им не ходят.
@@ -14,8 +15,9 @@
- `lifecycle` с ролью `lifecycle_owner` — создание и удаление только
прикладных баз и объектов. Им даги жизненного цикла применяют DDL и
пересоздают мир ([ADR 0013](0013-world-lifecycle.md)).
- `bi` с ролью `bi_reader` — чтение витрин DM, слоя DDS и справочников `dic`.
Им ходит Superset.
- `bi` с ролью `bi_reader` — чтение слоёв ODS, DDS и DM, а также справочников
`dic`. Им ходит Superset; его запросы обращаются к публичным `_v`, хотя права
шире.
- `analyst` с ролью `analyst_reader` — чтение всех слоёв и справочников. Им
человек подключается снаружи, из своего клиента.
- `grafana` с ролью `monitoring_reader` — чтение слоёв, таблиц базы `dic` и
@@ -41,24 +43,26 @@
Сетевых ограничений на `default` нет: порты стенда и так открыты только на
`127.0.0.1`, а внутри сети Compose дверь заперта паролем.
Устройство модели — кто каким пользователем ходит и где живут пароли —
опишет раздел README «Состав и доступ»; здесь только решение и доводы.
Отдельного справочника по доступу в `docs/architecture/` не заводим: своего
содержания сверх этих двух документов у него сегодня нет, а дом ему
понадобится, когда появятся слои DDS и DM и гранты размножатся. Абзац README
«У локального учебного кластера нет пароля» этим решением отменяется.
Раздел README «Состав и доступ» описывает, кто каким пользователем ходит и где
живут пароли; здесь остаются решение и доводы. Отдельного справочника по
доступу в `docs/architecture/` нет: точные права видны в `access.xml`, конвенция
чтения через `_v` описана в доке хранилища.
## Почему
Стенд учит не администрированию доступа, а чтению отказа в правах: человек
должен узнать в бою картину, которую видел здесь, и понимать, чего просить.
Отсюда критерий отбора — модель должна читаться из текста ошибки, а не из
описания. Поэтому пользователей мало, имена у них говорящие, а границы
проходят там, где их обычно проводят в компаниях: `bi` видит витрины и слой
DDS под ними, потому что так чаще всего и бывает; заодно расхождение витрины
со слоем ниже остаётся проверяемым одним и тем же пользователем. Справочники
видны всем читателям и никому на запись: зона входит в хранилище сбоку, и её
содержимым владеет файл репозитория, а не слой.
описания. Поэтому пользователей мало, имена у них говорящие, а `bi` отделён от
STG и от записи. Один пользователь может сверить всю цепочку DM → DDS → ODS,
не получая доступа к сырью и изменению данных. Справочники видны всем читателям
и никому на запись: зона входит в хранилище сбоку, и её содержимым владеет файл
репозитория, а не слой.
Ограничить `bi` одними `_v` поверх `Distributed` можно только отдельным
маршрутом, учётной записью или копией данных. Эта механика не даёт нового урока.
Публичное представление остаётся договором чтения; границу прав оно не задаёт
([исследование](../research/2026-08-25-clickhouse-distributed-view-security.md)).
**Беспарольный `dict`.** Пароль пришлось бы вписать в текст DDL словаря, то
есть положить секрет в git. Ходить этой учёткой некуда: право у неё одно —
@@ -124,11 +128,9 @@ DDS под ними, потому что так чаще всего и быва
## Следствия
До появления слоёв DDS и DM читать `bi` почти нечего, и это намеренно.
Дашборды рисуются поверх модели данных, а не поверх типизированных событий,
поэтому доступ Superset к ODS не планировался и правами не выдаётся.
Единственное, что ему доступно сегодня, — справочники: с ними зона `dic`
пришла раньше своих потребителей.
Новые таблицы ODS, DDS и DM не требуют отдельного гранта для `bi_reader`.
Явный договор `_v` защищает потребителя от устройства хранения и случайных
новых колонок.
DDL для матвью приёма выполняется от имени `lifecycle`. Это видно в журнале
запросов, а при создании ClickHouse проверяет у этой учётки чтение источника и
@@ -194,3 +196,12 @@ ClickHouse через MCP Context7 (#114).
- Права на отсутствующие базы `dds` и `dm` приняты. До создания баз они видны
в `SHOW GRANTS FOR etl_writer`; временная таблица в `dm` подтвердила право
`bi` на чтение после появления базы.
Расширение `bi_reader` проверено на живом стенде 25 августа 2026 года (#150):
- `SHOW GRANTS FOR bi_reader` содержит `SELECT` на ODS, DDS и DM;
- `bi` прочитал одинаковые 401185 строк из `ods.event_v` и `dds.event_v`;
- чтение `stg.hits_raw_rep` завершилось ошибкой `ACCESS_DENIED`;
- представление над `Distributed` с `SQL SECURITY DEFINER` на удалённой ноде
сохранило исходного пользователя `bi`. Причина и отклонённые варианты
разобраны в [исследовании](../research/2026-08-25-clickhouse-distributed-view-security.md).
+2 -3
View File
@@ -45,9 +45,8 @@
- DDS обслуживает человека с дашбордом: время лежит в поясе счётчика,
пересчёт — один раз при наполнении слоя ([дока хранилища](../storage.md),
«Часовые пояса»).
- Публичный договор каждой сущности — `_v`; роли объектов и проверяемая
граница доступа заданы [конвенциями хранилища](../storage.md), «Имена
объектов».
- Публичный договор каждой сущности — `_v`; роли объектов и конвенция чтения
заданы [докой хранилища](../storage.md), «Имена объектов».
- Служебные колонки — координаты собственной загрузки слоя; чужие ярлыки не
переносятся, а спрашиваются у их слоя по ключу сущности. Вывод правила и
цепочка расследования — [модель заказа](order.md).
+3 -5
View File
@@ -22,7 +22,7 @@
автоматический `PREWHERE` — свойство ODS, представление её не усугубляет.
Как публичный договор DDS, представление перечисляет колонки явно и следует
общей [границе доступа](../storage.md), «Имена объектов».
общей [конвенции чтения](../storage.md), «Имена объектов».
## Язык модели
@@ -71,8 +71,8 @@ issue #143.
- **`ecommerce`** — сырой JSON: сырьё, а не атрибут. Разобранные массивы
`purchase_*` и `product_*` в контракте есть; лаба про разбор JSON внутри
колонки читает ODS.
- **`_load_id`, `_load_ts`** — у представления нет собственной загрузки, а
чужие координаты слой не переносит (правило слоя — [модель
- **`_load_ts`** — у представления нет собственной загрузки, а чужие
координаты слой не переносит (правило слоя — [модель
заказа](order.md), «Служебные колонки»); расследование спрашивает ODS по
ключу события.
@@ -96,8 +96,6 @@ issue #143.
## Не входит
- DDL представления и его раскатка на кластер — исполнение этапа 4,
нарезка #136.
- Форма витрин DM — #135.
- Лаба со справочником регионов — issue #143, проектирование лаб.
+2 -2
View File
@@ -153,7 +153,7 @@ Airflow. Партиция — день данных; прогон звена DQ
состав колонок витрин и классы сверки.
- [Дневной конвейер](etl.md) — запуск `dm_transform`, объём прогона,
замена партиций на кластере.
- [Дока хранилища](storage.md) — имена объектов, граница доступа через
`_v`, партиция-донор.
- [Дока хранилища](storage.md) — имена объектов, конвенция чтения через `_v`,
партиция-донор.
- [Карта модели DDS](dds/README.md) — источники витрин.
- Резолюция — тикет #135 карты #127.
+38 -32
View File
@@ -6,7 +6,7 @@
раздел «Что проверено» — чему в этом тексте верить и на каком основании.
**Что здесь описано и чего ещё нет.** Собран этап 1: кластер из двух шардов,
keeper, Kafka, каркас сервисов. Этап 2 идёт: в `sql/ddl/` лежит вся цепочка
keeper, Kafka, каркас сервисов. Этап 2 собран: в `sql/ddl/` лежит вся цепочка
`Kafka → STG → ODS` — чтец топика `hits`, таблицы сырья, типизированное
событие с таблицей ошибок, поверхность актуального состояния и три матвью.
Этап 3 добавил вход второго источника и довёл его до ODS: топик `orders`, свой
@@ -14,7 +14,8 @@ keeper, Kafka, каркас сервисов. Этап 2 идёт: в `sql/ddl/`
состояния. Наполняет всю цепочку даг `orders_ingest` двумя шагами, а не матвью.
Тот же этап принёс первый справочник — словарь товаров из общего с генератором
CSV-файла. Живёт он вне цепочки слоёв, в зоне `dic`, и читает не файл, а
подложку над ним ([ADR 0012](../adr/0012-dictionary-home.md)).
подложку над ним ([ADR 0012](../adr/0012-dictionary-home.md)). Этап 4 начат
публичным договором события `dds.event_v` над точным состоянием ODS.
Дальше по тексту устройство описано так, как оно проектируется; построенное от
заложенного отличает карта таблиц в конце.
@@ -64,21 +65,22 @@ CSV-файла. Живёт он вне цепочки слоёв, в зоне `d
проходит по STG, и имена её показывают.
В DDS публичный договор сущности заканчивается на `_v`. Потребительские запросы
и витрины называют только представление; `_rep` и `_dist` остаются ролям
загрузки, диагностики и обслуживания. Представление перечисляет колонки явно,
даже если его запрос — простая проекция над `_dist`: договор не выдаёт
устройство кластера и случайно добавленные физической таблице колонки. У
события физической копии в DDS нет, но правило то же: `dds.event_v` — его
публичный договор.
и витрины называют только представление; `_rep` и `_dist` служат загрузке,
диагностике и обслуживанию. Представление перечисляет колонки явно, даже если
его запрос — простая проекция над `_dist`: договор не выдаёт устройство
кластера и случайно добавленные в физическую таблицу колонки. У события
физической копии в DDS нет, но правило то же: `dds.event_v` — его публичный
договор.
Граница доступа — часть договора, а не следствие имени. Обычное представление
создаётся с явными `DEFINER = CURRENT_USER SQL SECURITY DEFINER`: определивший
его пользователь читает источники, потребительская роль получает `SELECT` на
`_v`, физические объекты — роль загрузки или диагностики. При стандартном
`INVOKER` потребителю нужны были бы права и на источник ([документация
ClickHouse](https://clickhouse.com/docs/sql-reference/statements/create/view#sql-security)).
Значит реализация публичной поверхности закончена, когда запрос
потребительской ролью проходит через `_v` и отклоняется для `_rep` и `_dist`.
Право доступа здесь намеренно шире договора. Роль `bi_reader` может читать
любые объекты ODS, DDS и DM, но физические объекты от этого не становятся
публичной поверхностью. Конвенцию держат явный список колонок, документация и
ревью, а не запрет на физические таблицы.
Широкое право принято в [ADR 0007](../adr/0007-clickhouse-access.md): узкая
граница поверх `Distributed` потребовала бы отдельной механики. Механизм
ClickHouse и отклонённые варианты записаны в
[исследовании](../research/2026-08-25-clickhouse-distributed-view-security.md).
## Раскладка по шардам
@@ -204,9 +206,9 @@ ODS и в таблицу ошибок. Нужен ли он выше ODS, реш
`ods.event_v` — обычное представление над `ods.event_dist FINAL`. Оно сохраняет
имена, типы и зерно события, но всегда возвращает актуальную версию. Актуальное
состояние читают через него, а не повторяют `FINAL` в каждом запросе. Будущее
`dds.event_v` отвечает за другое: даёт событию язык бизнес-модели, в том числе
snake_case-имена и расшифровку кодов.
состояние читают через него, а не повторяют `FINAL` в каждом запросе.
`dds.event_v` отвечает за другое: даёт событию язык бизнес-модели, в том
числе snake_case-имена и расшифровку кодов.
## Версии заказов
@@ -495,8 +497,8 @@ SQL-файлы исполняет штатный `SQLExecuteQueryOperator`. Пр
### DDL
Файлы лежат в `sql/ddl/` и применяются по порядку имён. Сначала все статичные
объекты, потом матвью — тогда к моменту создания матвью её цель уже существует.
Файлы лежат в `sql/ddl/` и применяются по порядку имён: зависимости создаются
раньше потребителей.
| Файл | Что в нём |
|---|---|
@@ -506,19 +508,20 @@ SQL-файлы исполняет штатный `SQLExecuteQueryOperator`. Пр
| `20-ods-tables.sql` | типизированное событие, версии заказа и обе таблицы ошибок |
| `30-ods-views.sql` | актуальные события, текущие заказы и матвью разбора в ODS |
| `40-stg-views.sql` | матвью приёма: чтец в сырьё |
| `50-dds-views.sql` | публичный договор события на языке модели DDS |
Справочники идут сразу за базами: зона `dic` не зависит ни от одного слоя, и
правила порядка слоёв к ней не применяются.
Порядок остальных задают два правила. Первое: матвью принадлежит слою своей
цели, а не источника, — разбор из STG в ODS лежит среди файлов ODS, потому что
наполняет ODS. Второе: матвью приёма создаётся последней из всех, и потому
нарушает нумерацию слоёв. Kafka-движок начинает читать топик, когда к нему
привязывают первую матвью; создай её раньше разбора — и всё, что доедет в
зазоре, ляжет в сырьё и не попадёт в ODS никуда, ни в событие, ни в ошибки. На
пустом топике зазор безвреден, поэтому первый прогон о нём не скажет. Проснётся
он, когда тома ClickHouse снесены, а данные Kafka целы, — то есть на обычной
отладке.
цели, а не источника, — разбор из STG в ODS лежит среди файлов ODS, потому
что наполняет ODS. Второе: последней среди матвью цепочки Kafka создаётся
матвью приёма, и потому она нарушает нумерацию слоёв. Kafka-движок начинает
читать топик, когда к нему привязывают первую матвью; создай её раньше
разбора — и всё, что доедет в зазоре, ляжет в сырьё и не попадёт в ODS
никуда, ни в событие, ни в ошибки. На пустом топике зазор безвреден,
поэтому первый прогон о нём не скажет. Проснётся он, когда тома ClickHouse
снесены, а данные Kafka целы, — то есть на обычной отладке.
Файлы применяет даг `world_initialize` с ноды 1 отдельной учётной записью
`lifecycle`: один файл — одна последовательная задача
@@ -546,7 +549,8 @@ SQL-файлы исполняет штатный `SQLExecuteQueryOperator`. Пр
## Карта таблиц
Ниже — то, что закладывают этапы 2 и 3; всё перечисленное лежит в `sql/ddl/`.
Ниже — объекты, уже построенные этапами 2–4; всё перечисленное лежит в
`sql/ddl/`.
| База | Объект | Что это |
|---|---|---|
@@ -562,6 +566,7 @@ SQL-файлы исполняет штатный `SQLExecuteQueryOperator`. Пр
| `ods` | `ods.order_rep` / `_dist` | типизированные версии заказа |
| `ods` | `ods.order_v` | текущая версия заказа на языке источника |
| `ods` | `ods.order_errors_rep` / `_dist` | строки слепка, не прошедшие строгий приём |
| `dds` | `dds.event_v` | событие на языке бизнес-модели без физической копии |
| `dic` | `dic.products_file` | чтец CSV-каталога, общего с генератором |
| `dic` | `dic.products` | словарь товаров поверх подложки |
@@ -569,8 +574,9 @@ SQL-файлы исполняет штатный `SQLExecuteQueryOperator`. Пр
`INSERT SELECT` одной задачи `parse_batch` из файла
`sql/ods/order_parse.sql`.
Слой DDS и слой DM появляются на следующих этапах; их состав задан разделом
7 мастер-спеки и переносится сюда по мере постройки.
Слой DDS начат представлением `dds.event_v`; остальные его сущности и слой DM
появятся в следующих тикетах этапа. Их состав задан разделом 7 мастер-спеки и
переносится сюда по мере постройки.
## Что проверено
@@ -0,0 +1,132 @@
# Права DEFINER у представления над Distributed
Дата исследования: 2026-08-25. Тикет #150. ClickHouse 26.3.17.56.
## Вопрос
Почему `dds.event_v` с `SQL SECURITY DEFINER`, созданное пользователем
`lifecycle`, всё равно читает удалённый `ods.event_rep` как `bi`? Можно ли
оставить `bi` только с правом на публичное представление DDS, не заводя отдельный
маршрут или пользователя и не копируя данные?
## Короткий вывод
Простого поддерживаемого способа в ClickHouse 26.3 нет. `DEFINER` меняет
пользователя, чьи права проверяет локальный запрос представления, но сохраняет
в запросе имя его первоначального инициатора — `initial_user`. Движок
`Distributed` передаёт это имя на шарды, а межсерверный секрет делает его
пользователем удалённой сессии. Поэтому на координаторе источники читает
`lifecycle`, а на соседнем шарде физическую таблицу читает `bi`.
Это не заявленная семантика `SQL SECURITY DEFINER`: документация обещает, что
право на источник требуется определившему представление пользователю, а
вызывающему достаточно `SELECT` на представление. Поведение следует из
сочетания двух реализаций и выглядит как недокументированное ограничение или
дефект распределённого исполнения.
## Где меняется пользователь
`dds.event_v` разворачивается в запрос к `ods.event_v`, затем к
`ods.event_dist FINAL`. Для внутреннего запроса представления ClickHouse
создаёт новый контекст в
[`getSQLSecurityOverriddenContext`](https://github.com/ClickHouse/ClickHouse/blob/v26.3.17.56-lts/src/Storages/StorageInMemoryMetadata.cpp#L135-L175):
1. копирует исходный `ClientInfo` целиком, включая `initial_user = bi`;
2. затем отдельно вызывает `setUser` для определившего представление
пользователя `lifecycle`.
В контексте остаются два имени с разными задачами: `lifecycle` отвечает за
локальную проверку прав, а `bi` остаётся первоначальным пользователем запроса.
Второй `SQL SECURITY DEFINER` на `ods.event_v` повторяет те же два шага и
поэтому ничего не меняет.
## Что происходит на границе шарда
`Distributed` копирует `ClientInfo` из контекста и отправляет его на удалённую
ноду без замены `initial_user`
([`RemoteQueryExecutor.cpp`](https://github.com/ClickHouse/ClickHouse/blob/v26.3.17.56-lts/src/QueryPipeline/RemoteQueryExecutor.cpp#L415-L444)).
При межсерверном секрете имя входит в подписываемые данные запроса
([`Connection.cpp`](https://github.com/ClickHouse/ClickHouse/blob/v26.3.17.56-lts/src/Client/Connection.cpp#L968-L994)).
Принимающая нода проверяет подпись и открывает сессию с
`AlwaysAllowCredentials{client_info.initial_user}`
([`TCPHandler.cpp`](https://github.com/ClickHouse/ClickHouse/blob/v26.3.17.56-lts/src/Server/TCPHandler.cpp#L2303-L2356)).
Секрет здесь выполняет штатную функцию. Это не случайный побочный эффект.
Документация `Distributed` прямо говорит: если задан `<secret>`, `initial_user`
становится текущим пользователем удалённого запроса
([описание кластера](https://github.com/ClickHouse/ClickHouse/blob/v26.3.17.56-lts/docs/en/engines/table-engines/special/distributed.md#L105-L118)).
Так права, роли и ограничения исходного пользователя одинаково действуют на
всех шардах: координатор подтверждает личность пользователя, но не превращает
его запрос в запрос своей служебной учётки. Протокол не передаёт отдельно
эффективного пользователя `DEFINER`, поэтому на стенде эта защита и
останавливает `bi` у `ods.event_rep`.
## Рассмотренные варианты
### Настройка или другая форма представления
В 26.3 нет настройки, которая подменяет `initial_user` на определившего
представление пользователя только для чтения `Distributed`.
`push_external_roles_in_interserver_queries` пересылает роли именно
`initial_user`, не роли `DEFINER`
([исходник отправки](https://github.com/ClickHouse/ClickHouse/blob/v26.3.17.56-lts/src/QueryPipeline/RemoteQueryExecutor.cpp#L425-L444)).
`distributed_ddl_use_initial_user_and_roles` относится только к заданиям
`ON CLUSTER`. На `SELECT` настройка не действует
([объявление настройки](https://github.com/ClickHouse/ClickHouse/blob/v26.3.17.56-lts/src/Core/ServerSettings.cpp#L1002-L1006)).
### Пользователь в существующем описании кластера
С межсерверным секретом ClickHouse выбирает специальную межсерверную
аутентификацию и не использует пароль из описания реплики
([`Connection::sendHello`](https://github.com/ClickHouse/ClickHouse/blob/v26.3.17.56-lts/src/Client/Connection.cpp#L452-L476)).
Чтобы удалённый запрос всегда шёл как `lifecycle`, пришлось бы убрать секрет и
передавать его пароль. Тогда между нодами перестанет передаваться исходный
пользователь. Одна модель доступа сменится другой, менее прозрачной.
### `remote()` с явными реквизитами
Для `remote()` ClickHouse умеет заменить `initial_user` пользователем из
адреса
([`executeQuery.cpp`](https://github.com/ClickHouse/ClickHouse/blob/v26.3.17.56-lts/src/Interpreters/ClusterProxy/executeQuery.cpp#L96-L120)).
Но представлению понадобятся адреса и реквизиты удалённого пользователя — в
тексте DDL либо в отдельной настройке. Это и есть отдельный маршрут доступа;
он сложнее нынешнего кластера и требует хранить ещё один секрет.
### Промежуточное локальное представление на шарде
Можно направить `Distributed` на локальное представление с `DEFINER`, но
удалённому пользователю всё равно нужен `SELECT` на это представление. Значит
появятся дополнительный объект и дополнительный грант, а `bi` увидит
поверхность одного шарда. Физическая таблица останется закрытой, но простота и
контракт «только публичная поверхность DDS» исчезнут.
### Ослабление проверки
- `SQL SECURITY NONE` снимает проверку источника, но устарело и позволяет
создателю такого представления исполнять произвольный запрос; ClickHouse
требует для этого отдельное право
([документация](https://github.com/ClickHouse/ClickHouse/blob/v26.3.17.56-lts/docs/en/sql-reference/statements/create/view.md#L115-L136)).
- Право `bi` на физическую ODS-таблицу решает ошибку без новой механики, но
ослабляет исходную границу.
- Физическая или материализованная копия в DDS сохраняет границу, но добавляет
хранение и жизненный цикл данных ради переименования колонок.
## Решение для стенда
25 августа 2026 года выбрана простота: роль `bi_reader` читает ODS, DDS и DM
целиком. Потребительские запросы продолжают обращаться к `_v`. Этот договор
держат документация и ревью; границы прав задают гранты.
Отдельный межсерверный маршрут, служебная учётка и физическая поверхность DDS
отклонены: каждый вариант добавляет механику только ради защиты, которой стенд
не учит. Готовой настройки, которая сохранила бы и узкую границу, и простое
устройство, в закреплённой версии нет.
## Граница уверенности
Механизм подтверждён исходным кодом точной версии 26.3.17.56. Простую настройку
искали в настройках сервера и в путях формирования удалённого запроса этой же
версии. Уверенность в обоих выводах высокая. Официального
текста, который называет сочетание `DEFINER + Distributed + secret`
поддерживаемым ограничением или зарегистрированным дефектом, не найдено;
классификация как дефекта остаётся выводом из расхождения документации и кода.
+8 -7
View File
@@ -431,7 +431,7 @@ README.
| ODS | `ods.event` (+`_errors`), `ods.event_v` | типизированные версии событий, брак и точное актуальное состояние |
| ODS | `ods.order` (+`_errors`), `ods.order_v` | типизированные версии заказов, брак и точное текущее состояние |
| DDS | `dds.session_rep` / `_dist`, `dds.session_v` | физическая сборка сессий и её публичный интерфейс |
| DDS | `dds.event_v` | представление над `ods.event`: snake_case-имена, расшифровка кодов `DeviceCategory`; витрины DM читают его, а не ODS напрямую |
| DDS | `dds.event_v` | представление над `ods.event_v`: snake_case-имена, расшифровка кодов `DeviceCategory`; витрины DM читают его, а не ODS напрямую |
| DDS | `dds.order_rep` / `_dist`, `dds.order_v` | текущая модель заказа и её публичный интерфейс |
| DDS | `dds.identity_map_rep` / `_dist`, `dds.identity_map_v` | физическая карта кука↔пользователь и её точный публичный интерфейс |
| DIC | подложка `products_file` и словарь `products` | каталог из CSV, вне цепочки слоёв ([ADR 0012](../adr/0012-dictionary-home.md)) |
@@ -440,10 +440,11 @@ README.
У каждой таблицы слоя — пара из локальной и распределённой, имена по конвенции
суффиксов; она же задаёт служебные колонки, нарезку и срок хранения сырья —
см. [доку хранилища](../architecture/storage.md).
Потребительские роли и витрины читают сущности DDS через `_v` с явным списком
колонок; прав на `_rep` и `_dist` у них нет. Физические объекты остаются ролям
загрузки, диагностики и обслуживания. Механизм и проверяемая граница доступа —
в [доке хранилища](../architecture/storage.md), «Имена объектов».
Потребительские запросы и витрины читают сущности DDS через `_v` с явным
списком колонок; `_rep` и `_dist` служат загрузке, диагностике и обслуживанию.
Договор держится конвенцией, а не правами: модель доступа описана в
[ADR 0007](../adr/0007-clickhouse-access.md), договор чтения — в
[доке хранилища](../architecture/storage.md), «Имена объектов».
Заказы принимаются **пакетным забором** ([ADR
0008](../adr/0008-order-ingestion.md), [ADR
@@ -470,8 +471,8 @@ README.
Kafka день переигрывается генератором заново: снимок — кэш чистой функции,
см. [спеку генератора](2026-08-01-generator.md).
`ods.event_v` сохраняет имена, типы и зерно ODS, но скрывает `FINAL` и возвращает
актуальную версию события. Будущее `dds.event_v` — другой контракт: оно
`ods.event_v` сохраняет имена, типы и зерно ODS, но скрывает `FINAL` и
возвращает актуальную версию события. `dds.event_v` — другой контракт: оно
переводит событие на язык бизнес-модели, в том числе даёт snake_case-имена и
расшифровывает коды. Это первый на стенде пример правила «слой — это контракт,
а не обязательно копия данных».
+1
View File
@@ -44,6 +44,7 @@
<!-- Оба читателя: clickhouse-connect читает system.settings при подключении. -->
<bi_reader>
<grants>
<query>GRANT SELECT ON ods.*</query>
<query>GRANT SELECT ON dds.*</query>
<query>GRANT SELECT ON dm.*</query>
<query>GRANT SELECT, dictGet ON dic.*</query>
+1 -2
View File
@@ -14,8 +14,7 @@ CREATE DATABASE IF NOT EXISTS stg ON CLUSTER clickstream_cluster;
-- порядок файлов от этого не зависит.
CREATE DATABASE IF NOT EXISTS ods ON CLUSTER clickstream_cluster;
-- Объекты DDS появятся на следующем этапе; база заводится заранее по той же
-- причине, что и ODS.
-- База DDS заводится здесь же по той же причине, что и ODS.
CREATE DATABASE IF NOT EXISTS dds ON CLUSTER clickstream_cluster;
-- Справочники стоят вне цепочки STG → ODS → DDS → DM: в хранилище их никто не
+64
View File
@@ -0,0 +1,64 @@
-- DDS: публичный договор события на языке бизнес-модели.
--
-- Событие не копируется в DDS: обычное представление вторым уровнем читает
-- точное состояние из ods.event_v. Явный список колонок не пропускает в
-- договор служебные и сырые поля ODS при будущих изменениях источника.
--
-- Представление — договор чтения, не граница прав: роль bi_reader читает его
-- источник по решению docs/adr/0007-clickhouse-access.md.
--
-- event_date берётся напрямую из EventDate. Пересчёт из event_time помешал бы
-- первичному индексу отбирать день до чтения.
CREATE VIEW IF NOT EXISTS dds.event_v ON CLUSTER clickstream_cluster
AS
SELECT
WatchID AS event_id,
ClientID AS client_id,
CounterID AS counter_id,
EventDate AS event_date,
toTimeZone(UTCEventTime, 'Europe/Samara') AS event_time,
ClientTimeZone AS client_timezone,
EventType AS event_type,
URL AS url,
Referer AS referer,
Title AS title,
UTMSource AS utm_source,
UTMMedium AS utm_medium,
UTMCampaign AS utm_campaign,
UTMContent AS utm_content,
UTMTerm AS utm_term,
LastTrafficSource AS last_traffic_source,
HasGCLID AS has_gclid,
YCLID AS yclid,
Browser AS browser,
BrowserMajorVersion AS browser_major_version,
BrowserLanguage AS browser_language,
OperatingSystem AS operating_system,
OperatingSystemRoot AS operating_system_root,
transform(
DeviceCategory,
[1, 2, 3, 4],
['desktop', 'mobile', 'tablet', 'tv'],
toString(DeviceCategory)
) AS device_category,
MobilePhoneModel AS mobile_phone_model,
ScreenWidth AS screen_width,
ScreenHeight AS screen_height,
IPAddress AS ip_address,
RegionCountry AS region_country,
RegionCity AS region_city,
RegionCountryID AS region_country_id,
RegionCityID AS region_city_id,
GoalsReached AS goals_reached,
ParsedParamsKey1 AS parsed_params_key1,
purchaseID AS purchase_id,
purchaseRevenue AS purchase_revenue,
purchaseCurrency AS purchase_currency,
purchaseCoupon AS purchase_coupon,
productID AS product_id,
productName AS product_name,
productCategory AS product_category,
productPrice AS product_price,
productQuantity AS product_quantity,
productEventType AS product_event_type
FROM ods.event_v;