docs(generator): добавлена мат-спека модели и исправлен профиль сида

- Зачем:
  - закрыть Open questions спеки формы доработки перед передачей на
    реализацию; адверсариальное ревью показало, что прежние ориентиры
    (популяция/паузы/интенсивность) взаимно несовместимы, а документы
    опираются на неверный факт о сиде («1..7 событий на визит»).
- Что:
  - добавлена docs/specs/2026-06-10-generator-math-model.md: марковская
    цепочка по страницам, формула связи «популяция-интенсивность-пауза»
    (λ по умолчанию 30/мин), кулдаун возврата, правило 30 минут на рестарт,
    критерии приёмки.
  - в CONTEXT.md добавлен профиль сид-датасета (полный замер: длины визитов
    1..27, медиана 10, конверсия 25%, петли и события после /confirmation)
    и исправлено ложное «разброс времени внутри click_id <= 1 мин».
  - исправлен факт «1..7 событий» в KNOWN_ISSUES.md и ADR-0004; критерии
    Validation спеки формы доработки приведены к фактам сида.
- Проверка:
  - перекрёстные ссылки между спеками/ADR/CONTEXT.md открываются; цифры
    профиля сида воспроизводятся скриптом подсчёта по полным data/*.jsonl.

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
This commit is contained in:
Dmitry Dementiev
2026-06-10 17:32:47 +03:00
co-authored by Claude Fable 5
parent bce1ded9c4
commit 6efa031023
5 changed files with 292 additions and 14 deletions
@@ -49,9 +49,10 @@
общим device/geo), а не штампуется на каждое событие.
- **Время событий внутри сессии монотонно растёт** (правдоподобный путь по
страницам), а не равно `now()` для всего батча.
- **Правдоподобная воронка** по `page_url_path`: затухающая последовательность
страниц (`/home → … → /confirmation`), где до терминального шага доходит
правдоподобно малая доля — согласованно с дашбордом и сидом.
- **Правдоподобная воронка** по `page_url_path`: путь по страницам
(`/home → … → /confirmation`), где число визитов затухает от шага к шагу,
а до последнего шага воронки доходит меньшинство (в сиде ~25%) —
согласованно с дашбордом и сидом.
- Сохранена модель интенсивности (жизнеподобные колебания нагрузки).
- Встраивается в курс как **урок 7 «Система живёт»**, сосуществует с bootstrap-сидом
и уроками 06.
@@ -98,8 +99,9 @@
3. **События сессии.** Сессия порождает 1..M событий, разделяющих `click_id`,
**упорядоченных по монотонно растущему времени**, образующих правдоподобный
путь по воронке страниц (`page_url_path`: `/home → … → /confirmation`), где до
терминального шага доходит малая доля. (Вводить ли разнообразие `event_type`
сверх `pageview` — открытый вопрос, см. ниже.)
последнего шага воронки доходит меньшинство визитов (~25%, как в сиде).
(Вводить ли разнообразие `event_type` сверх `pageview` — открытый вопрос,
см. ниже.)
4. **Интенсивность.** Поверх иерархии работает сохранённая модель интенсивности —
сколько событий и когда (Poisson + дневной коэффициент + jitter).
@@ -136,11 +138,14 @@
- `uniqExact(user_domain_id) < uniqExact(click_id) < count(event_id)`
пирамида не вырождена (есть возвраты и мультисобытийные сессии).
- Внутри одного `click_id` несколько событий с **возрастающим** `event_ts`.
- У `click_id` с несколькими событиями `event_ts` строго **возрастает**;
мультисобытийные визиты составляют заметную долю потока (одностраничные
визиты-отказы допустимы и правдоподобны).
- Один `click_id` принадлежит ровно одному `user_domain_id`; у пользователя
бывает несколько `click_id`.
- Воронка по `page_url_path` затухает (доля доходящих до `/confirmation`
правдоподобно мала), терминальный шаг — `/confirmation`.
- Воронка по `page_url_path` затухает от шага к шагу; доля визитов, доходящих
до `/confirmation`, согласована с сидом (~25%). `/confirmation` — последний
шаг воронки, но визит может продолжаться и после него (как в сиде).
- Поток крутится на слабом железе при дефолтном rate без деградации стенда.
- `GEN_SEED` даёт воспроизводимый поток.
@@ -157,6 +162,12 @@
## Open questions (→ follow-up-спека по математике)
> **Закрыто 2026-06-10:** все вопросы ниже решены в
> [спеке математической модели](./2026-06-10-generator-math-model.md)
> (распределения, ротация популяции, инвариант пауз вместо session-timeout,
> активные сессии как состояние, персистентность, воспроизводимость;
> `event_type` остаётся 100% `pageview`). Список сохранён для истории.
- Конкретные распределения: события на сессию, сессии на пользователя за период,
межсессионные интервалы.
- **Вводить ли разнообразие `event_type`** (purchase/add_to_cart/click) сверх
@@ -0,0 +1,241 @@
# Математическая модель генератора: распределения, тики, персистентность
Дата: 2026-06-10 (ревизия после адверсариального ревью в тот же день)
Статус: Draft
Связано: [ADR-0004](../adr/0004-steady-stream-synthetic-generator.md) (решение
«генератор, не реплей»), [спека формы доработки](./2026-06-09-generator-rework-hierarchical.md)
(требования к иерархии; эта спека закрывает её раздел *Open questions*),
[`CONTEXT.md`](../../CONTEXT.md) (доменный язык и **профиль сид-датасета**
опорные цифры для калибровки), [`generator/KNOWN_ISSUES.md`](../../generator/KNOWN_ISSUES.md)
(диагноз дефекта).
Уровень документа: **модель и инварианты**. Детальный план реализации и код —
за исполнителем; конкретные технические решения (структуры данных, точные
алгоритмы розыгрыша, имена новых переменных окружения, не названные здесь) он
строит сам в рамках зафиксированных здесь правил.
## Картина целиком
Генератор имитирует жизнь сайта тремя уровнями:
```
популяция пользователей — кто вообще ходит на сайт
└── визиты (сессии, click_id) — пользователь время от времени заходит
└── события (event_id) — за один заход ходит по страницам
```
Поверх иерархии — сохранённая модель интенсивности (Пуассон + часовой
коэффициент + jitter из `_calculate_events_count()`): она задаёт, *сколько*
активности происходит в единицу времени. Путь по страницам внутри визита
задаёт **марковская цепочка** — таблица вероятностей переходов между страницами.
## Принятые решения (развилки закрыты 2026-06-10)
1. **Типы событий: 100% `pageview`.** Воронка остаётся страничной
(`page_url_path`), как в сиде и на дашборде. Другие типы
(purchase/add_to_cart/click) — отдельная итерация после урока 7: они тянут
согласованную правку дашборда и урока 6, что выходит за рамки переработки.
2. **Session-timeout не вводим.** Генератор порождает визиты явно и знает их
границы по построению; правило «молчал полчаса — новая сессия» — это приём
*восстановления* сессий из событий, который здесь не нужен. `CONTEXT.md`
(сессия ≡ визит ≡ `click_id`) не меняется. Вместо механизма — **инвариант
пауз** (см. ниже): данные не должны противоречить привычной 30-минутной
семантике.
3. **Популяция: постоянное ядро + медленная ротация.** Размер активной
популяции ограничен (память не растёт), но новые пользователи понемногу
приходят, давно неактивные — выбывают. Кумулятивное число уникальных
пользователей растёт со временем — стенд выглядит живым.
4. **Путь по страницам — марковская цепочка.** Для каждой страницы задана
вероятность перехода на каждую другую страницу или ухода с сайта. Один
механизм даёт сразу: длину визита, затухающую воронку, петли (возвраты на
главную, просмотр обоих товаров) и «походил после покупки» — всё то, что
реально есть в сиде. Простая «затухающая цепочка без петель» рассмотрена и
отклонена: она не может дать длины визитов как в сиде (медиана 10, до 27
событий) и беднее как учебный объект. Таблица переходов — готовая «ручка»
для урока 7: менти меняет вероятность и видит эффект на дашборде.
## Модель по уровням
### Популяция пользователей
- Активная популяция — ограниченное множество пользователей с постоянными
`user_domain_id`, не больше `GEN_POPULATION_MAX`.
- **Инициализация:** при старте с чистого листа популяция сразу предзаполняется
до потолка (детерминированно от `GEN_SEED`) — поток выходит на стационарный
режим с первых минут, без длинного «разогрева».
- **Ротация через рождение визитов:** каждый новый визит с вероятностью
`GEN_P_NEW_USER` достаётся *новому* пользователю (свежий `user_domain_id`),
иначе — пользователю из популяции, **доступному** для возврата (см. кулдаун
ниже). При переполнении популяции вытесняется дольше всех неактивный
пользователь **без активного визита**. Так приток и отток получаются из
одного простого правила.
- **Профиль пользователя:** при рождении пользователь получает полный
device/geo-контекст одной случайной сид-сессии (включая `user_custom_id`;
повторы email между пользователями допустимы — демо-данные) с заменой
`user_domain_id` на свежий. Профиль используется во всех визитах пользователя
(KISS: смену устройства не моделируем).
### Визиты (сессии)
- Визит = новый `click_id`, общий для всех его событий, с device/geo из профиля
пользователя.
- **Связка с моделью интенсивности.** `_calculate_events_count()` сохраняется и
выдаёт на тик *бюджет событий*. Бюджет конвертируется в рождения визитов:
ожидаемое число новых визитов за тик = бюджет ÷ средняя длина визита
(средняя длина — производная калиброванной таблицы переходов, исполнитель
измеряет её симуляцией). События же выпускаются по внутрисессионным паузам.
Следствие: фактическое число событий за конкретный тик — производная величина,
но *средняя* интенсивность за длинное окно совпадает с целевой. Прежние
границы `GEN_MIN/MAX_EVENTS_PER_TICK` в старом смысле теряют применимость;
ограничивать нужно рождения визитов за тик (имена и значения — за
исполнителем, зафиксировать в README).
- **Кулдаун возврата:** после завершения визита пользователь недоступен для
нового минимум `GEN_MIN_RETURN_MINUTES` (ориентир 30 мин) — это гарантирует
нижнюю границу межсессионной паузы (инвариант пауз).
- **Межсессионные паузы — эмерджентная величина, не свободный параметр.**
Пауза складывается из кулдауна и времени ожидания «своей очереди» и в среднем
определяется балансом потока и популяции:
```
средняя пауза ≈ кулдаун + GEN_POPULATION_MAX ÷ (λ ÷ L × (1 GEN_P_NEW_USER))
где λ — событий/мин, L — средняя длина визита
```
На ориентирах по умолчанию (λ=30, L≈10, популяция 300, p_new=0.15):
возвратов ≈ 2.6/мин, пауза ≈ **~2 часа** — больше 30-минутного окна и при
этом возвраты видны уже за один вечер работы стенда. **Кто меняет λ или
размер популяции — обязан пересчитать паузу по формуле**: эти три величины
связаны, их нельзя крутить независимо.
### События и путь по страницам
- **Марковская цепочка:** страницы — `/home`, `/product_a`, `/product_b`,
`/cart`, `/payment`, `/confirmation` плюс исход «ушёл». Визит начинается с
входной страницы (как правило `/home`), дальше каждый следующий шаг
разыгрывается по таблице переходов текущей страницы. Петли разрешены
(вернуться на главную, посмотреть оба товара, продолжить ходить после
`/confirmation` — как в сиде). Защита от зацикливания — потолок длины визита
`GEN_MAX_SESSION_EVENTS` (ориентир 30, как максимум в сиде).
- **Калибровка по сиду:** конкретные значения таблицы подбирает исполнитель под
два целевых показателя из профиля сида (см. `CONTEXT.md`): доля визитов,
достигших `/confirmation`, ≈ 25%, и длина визита с медианой ~10 событий.
Точного совпадения распределений не требуется — требуется сопоставимость,
чтобы дашборд на потоке показывал привычные по сиду цифры.
- **Паузы внутри визита:** интервал между соседними событиями — величина
масштаба *секунд—минут* (например, лог-нормальное: большинство пауз короткие,
изредка длинные). Ориентир: медиана десятки секунд. Форма распределения и
параметры — за исполнителем.
- **Инвариант пауз (вместо session-timeout):** все паузы внутри визита строго
меньше 30 минут (с запасом: 95-й перцентиль — единицы минут); межсессионные
паузы — всегда больше кулдауна. Данные не должны противоречить индустриальной
семантике 30-минутного окна неактивности. (Это сознательно строже сида, где
встречаются внутрисессионные паузы до 40 минут.)
- **Время монотонно:** визит живёт несколько тиков, и каждому его событию
заранее назначается *запланированный* момент (предыдущее событие + пауза).
В `event_timestamp` пишется именно запланированный момент, а не время
фактической отправки на тике — иначе метки прилипают к сетке тиков (паузы
кратны 5 с, события одного тика слипаются в одну метку). В штатной работе
запланированное время отстаёт от «сейчас» не больше чем на тик; монотонность
внутри `click_id` строгая по построению.
### Раскладка по тикам (активные визиты как состояние)
Визит длится дольше тика (5 с), поэтому генератор держит **активные визиты**
как состояние между тиками. Для каждого активного визита достаточно знать: чей
он, `click_id`, текущая страница, момент следующего события. На каждом тике
генератор:
1. выпускает события тех активных визитов, у которых подошло время;
2. рождает новые визиты по бюджету интенсивности (см. выше);
3. завершает визиты, чей путь закончился (исход «ушёл» или потолок длины).
Число одновременно активных визитов ограничено (`GEN_MAX_ACTIVE_SESSIONS`) —
защита памяти; при достижении потолка новые рождения в этот тик пропускаются
(бюджет не копится). На ориентирах по умолчанию стационарно активны ~15–30
визитов — потолок с большим запасом.
## Персистентность через рестарты
- Расширить состояние в compact-топике `generator_state` (новая `version`):
к тику и состоянию ГПСЧ добавляются **популяция** (компактно: идентификаторы,
профили, время последней активности) и **активные визиты**.
- Объём состояния ограничен потолками популяции и активных визитов — запись в
Kafka остаётся маленькой (десятки КБ).
- **Рестарт после простоя — «правило 30 минут», повизитно:** активный визит,
чьё следующее событие запланировано не дальше 30 минут в прошлом, продолжается —
созревшие за простой события досылаются со своими (прошлыми, честными)
метками. Визит, просроченный сильнее, закрывается без досылки остатка —
посетители «ушли», пока стенд спал. Популяция переживает простой любой длины;
кулдауны отсчитываются по меткам времени, не по тикам.
- Уже существующая деградация сохраняется: невалидное/отсутствующее состояние →
начать с чистого листа (свежая популяция от `GEN_SEED`), предупреждение в лог.
`GEN_STATE_RESET=true` — явный сброс, как сейчас.
## Воспроизводимость (`GEN_SEED`)
При одном `GEN_SEED` **и одинаковых условиях запуска** детерминирована
последовательность решений: какие пользователи родились, какие визиты открылись,
какие пути выпали. Оговорка про условия существенна: часовой коэффициент и
метки времени зависят от настенных часов, поэтому запуск в другой час дня даёт
другой поток (как и у текущего генератора). Все случайные решения — только
через единый ГПСЧ генератора, состояние которого сохраняется; как зафиксировать
условия в тесте воспроизводимости — за исполнителем.
## Параметры (ориентиры по умолчанию)
Согласованный набор (см. формулу связи в разделе про визиты); дефолты —
ориентиры, исполнитель уточняет при калибровке.
| Параметр | Ориентир | Смысл |
|---|---|---|
| `GEN_LAMBDA_BASE_PER_MIN` | **30** (сейчас 200) | целевая интенсивность, событий/мин |
| `GEN_POPULATION_MAX` | 300 | потолок активной популяции |
| `GEN_P_NEW_USER` | 0.15 | доля визитов, достающихся новым пользователям |
| `GEN_MIN_RETURN_MINUTES` | 30 | кулдаун возврата пользователя |
| `GEN_MAX_SESSION_EVENTS` | 30 | потолок длины визита (защита от петель) |
| `GEN_MAX_ACTIVE_SESSIONS` | 200 | потолок одновременных визитов |
| средняя длина визита | ~10 событий | производная таблицы переходов (калибровка по сиду) |
| пауза внутри визита | медиана ~десятки секунд | распределение — за исполнителем |
| межсессионная пауза | ≈ 2 ч | эмерджентная, по формуле |
Таблица переходов и параметры распределения пауз — тоже конфигурация
(формат и имена — за исполнителем; таблица должна быть доступна менти для
экспериментов урока 7). Существующие `GEN_TICK_SECONDS`, `GEN_JITTER_PCT`,
`GEN_SEED`, `GEN_STATE_*` сохраняют смысл.
## Критерии приёмки
Дополняют раздел *Validation* [спеки формы доработки](./2026-06-09-generator-rework-hierarchical.md)
(пирамида, монотонность времени, принадлежность `click_id` одному пользователю,
воспроизводимость — там; здесь не дублируются):
- Средняя интенсивность событий за длинное окно (час и больше) соответствует
целевой `λ × часовой коэффициент` с разумным отклонением.
- Паузы внутри `click_id`: 95-й перцентиль — единицы минут, максимум < 30 минут.
- Межсессионные паузы одного пользователя: минимум ≥ кулдауна, медиана —
порядка расчётной по формуле (~2 ч на дефолтах).
- Доля визитов новых пользователей за длинное окно ≈ `GEN_P_NEW_USER`;
кумулятивное число уникальных `user_domain_id` растёт со временем, размер
состояния генератора — нет.
- Длина визита (медиана ~10, максимум ≤ потолка) и доля дошедших до
`/confirmation` (~25%) сопоставимы с профилем сида из `CONTEXT.md`.
- Воронка затухает по шагам: число визитов, посетивших страницу, монотонно
убывает вдоль `/home → товары → /cart → /payment → /confirmation`.
- После рестарта с простоем ≤ 30 минут активные визиты продолжаются (нет
скачка «все пользователи новые»); после долгого простоя закрываются только
просроченные визиты, популяция сохраняется.
## Влияние на документацию
- Спека формы доработки: раздел *Open questions* закрыт ссылкой на этот
документ; критерии Validation уточнены по фактическому профилю сида.
- `CONTEXT.md`: добавлен **профиль сид-датасета** (измеренные распределения —
опора калибровки) и исправлено неверное утверждение о разбросе времени внутри
`click_id` (сделано вместе с этой ревизией).
- `generator/KNOWN_ISSUES.md`, ADR-0004: исправлен неверный факт «1..7 событий
на визит» (по полному замеру — 1..27, медиана 10).
- Урок 7 «Система живёт» (пишется на этапе реализации): марковская таблица
переходов — учебная «ручка» урока (поменяй вероятность → увидь сдвиг
конверсии на дашборде).
- `generator/README.md` — обновляется при реализации; туда же — верхнеуровневый
обзор «как работает генератор» (два контура: интенсивность и сущности).