ddadminandClaude Opus 5
eb433ad023
Зачем: план состава отдаёт дневную аудиторию, но событий у мира ещё не было. День-функция превращает аудиторию в поток просмотров — на нём стоят лабы про сборку визитов и про витрины, а следующий этап вешает на него торговые события. Что: - `day.py` — день как чистая функция зерна и номера дня: суточная волна в местном времени посетителя, визиты по документированным правилам нарезки, все 47 колонок выгрузки; шов для торговых событий — ряды `page` и `product`; - `reference.py` — справочники-литералы: профили устройств, города Поволжья с настоящими гео-id Яндекса, источники трафика, карта сайта; - `catalog.py` и `data/catalog/products.csv` — каталог на 180 позиций, общий у генератора и будущего словаря ClickHouse; - `weights.py` — выбор по целым весам, один на план и на день; - паспорт куки (устройство и город) переехал в план состава; броски приписаны последними, поэтому измеренные числа канонического мира не сдвинулись; - словарь: «визит» закреплён за сессией, одноимённое понятие плана стало «днём активности»; статьи в `CONTEXT.md`; - решения по ходу — в спеку генератора, раздел 9; наполнение `ParsedParamsKey1` отложено тикетом #47. Проверка: `make lint`, `make typecheck`, `make test` — 353 passed (было 297). Счётчики плана после правки те же: приток 3827,64/день, дневная аудитория 6235–7124, 68 119 посетителей за 14 дней, 170 двухкуковых пар. День 0 — 45 810 событий за 0,6 с, снимок 14 дней — 5,9 с при пороге 30 с на день. Две слепые линии ревью, десять находок, все закрыты и перепроверены. Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
51 lines
3.8 KiB
Markdown
51 lines
3.8 KiB
Markdown
# Генератор кликстрима
|
|
|
|
Клиентская сторона стенда: отсюда берётся поток событий — широкое событие по
|
|
образцу облачной выгрузки Яндекс Метрики. Устройство и принятые решения —
|
|
спека [«Генератор (этап 2)»](../docs/specs/2026-08-01-generator.md).
|
|
|
|
События уже есть: день-функция отдаёт по паре (зерно, D) упорядоченный поток
|
|
pageview. Торговые события и запуск снаружи — за следующими тикетами.
|
|
|
|
## Что где лежит
|
|
|
|
- `src/clickstream_generator/world.py` — конфигурация мира: все его числа
|
|
одним местом. Правка любого — смена мира; крутить их и предлагается.
|
|
- `src/clickstream_generator/seeds.py` — иерархия зёрен: кто из какого
|
|
подпотока берёт случайность. На ней держится весь детерминизм.
|
|
- `src/clickstream_generator/plan.py` — план состава: кто есть в мире в
|
|
день D. Когорты, приток, двухкуковые пары, паспорта кук и счётчики — до
|
|
генерации событий.
|
|
- `src/clickstream_generator/weights.py` — выбор по целым весам: один приём
|
|
на весь генератор, чтобы дисциплина целочисленной случайности не жила
|
|
копиями.
|
|
- `src/clickstream_generator/reference.py` — справочники: устройства,
|
|
города, источники трафика, карта сайта. Таблицы-литералы: доля живёт в
|
|
строке, которой принадлежит.
|
|
- `src/clickstream_generator/catalog.py` — каталог товаров из
|
|
`data/catalog/products.csv`, общего у генератора и словаря ClickHouse.
|
|
- `src/clickstream_generator/day.py` — день-функция: визиты, страницы,
|
|
атрибуция, устройство и гео. Там же правила резки визитов и шов, на
|
|
который сядут торговые события.
|
|
- `src/clickstream_generator/schema.py` — контракт схемы: чистые данные о
|
|
колонках выгрузки. Собственность генератора; из него выводятся сам
|
|
генератор, его валидация и описание выгрузки в доках.
|
|
- `src/clickstream_generator/schema_doc.py` — сборка «описания выгрузки»
|
|
([`docs/formats/clickstream-event.md`](../docs/formats/clickstream-event.md))
|
|
из контракта. Документ руками не правят — пересобирают.
|
|
- `tests/` — инварианты контракта, свежесть описания и обещания мира:
|
|
чистота от зерна, приток, гарантия двухкуковых пар, форма суточной волны
|
|
и сборка визитов по задокументированным правилам.
|
|
|
|
## Команды
|
|
|
|
Из корня репозитория:
|
|
|
|
- `make test` — тесты генератора;
|
|
- `make lint` — ruff: проверка и формат;
|
|
- `make typecheck` — ty: проверка типов;
|
|
- `make docs` — пересобрать описание выгрузки.
|
|
|
|
Python и зависимости — через `uv`, версии закреплены в `uv.lock`: на этом
|
|
держится обещание побайтовой воспроизводимости (спека, раздел 2).
|