ddadminandClaude Opus 5
eb433ad023
Зачем: план состава отдаёт дневную аудиторию, но событий у мира ещё не было. День-функция превращает аудиторию в поток просмотров — на нём стоят лабы про сборку визитов и про витрины, а следующий этап вешает на него торговые события. Что: - `day.py` — день как чистая функция зерна и номера дня: суточная волна в местном времени посетителя, визиты по документированным правилам нарезки, все 47 колонок выгрузки; шов для торговых событий — ряды `page` и `product`; - `reference.py` — справочники-литералы: профили устройств, города Поволжья с настоящими гео-id Яндекса, источники трафика, карта сайта; - `catalog.py` и `data/catalog/products.csv` — каталог на 180 позиций, общий у генератора и будущего словаря ClickHouse; - `weights.py` — выбор по целым весам, один на план и на день; - паспорт куки (устройство и город) переехал в план состава; броски приписаны последними, поэтому измеренные числа канонического мира не сдвинулись; - словарь: «визит» закреплён за сессией, одноимённое понятие плана стало «днём активности»; статьи в `CONTEXT.md`; - решения по ходу — в спеку генератора, раздел 9; наполнение `ParsedParamsKey1` отложено тикетом #47. Проверка: `make lint`, `make typecheck`, `make test` — 353 passed (было 297). Счётчики плана после правки те же: приток 3827,64/день, дневная аудитория 6235–7124, 68 119 посетителей за 14 дней, 170 двухкуковых пар. День 0 — 45 810 событий за 0,6 с, снимок 14 дней — 5,9 с при пороге 30 с на день. Две слепые линии ревью, десять находок, все закрыты и перепроверены. Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
119 lines
7.8 KiB
Markdown
119 lines
7.8 KiB
Markdown
# Кликстрим-платформа (стенд v2)
|
|
|
|
Словарь понятий проекта: одни и те же слова для одних и тех же вещей —
|
|
у владельца, кода, документов и агентов. Только язык, никаких решений.
|
|
|
|
## Язык
|
|
|
|
**Хранилище**:
|
|
Аналитическая база стенда — кластер ClickHouse со слоями STG/ODS/DDS/DM.
|
|
Принимающая сторона границы «трекер | хранилище»: нормализует имена и стили
|
|
источников, строится по их документации.
|
|
_Избегать_: склад, склад данных
|
|
|
|
**Состав мира**:
|
|
Постоянная часть мира генератора — популяция посетителей, их привычки,
|
|
двухкуковые пары. По дням его выдаёт план состава.
|
|
_Избегать_: состояние мира
|
|
|
|
**План состава**:
|
|
Способ спросить состав мира: функция зерна, выдающая его по дням —
|
|
когорту новых кук, их возвраты, назначенные заказы двухкуковых пар.
|
|
|
|
**Подпоток**:
|
|
Ветвь дерева случайности генератора: своё зерно у состава мира, у каждого
|
|
дня и у каждого компонента дня. Подпоток задан позицией в дереве, а не
|
|
порядком вычислений.
|
|
|
|
**Конфигурация мира**:
|
|
Модуль чистых данных со всеми числами мира: приток, профили возвратов, доли
|
|
покупателей, D0. Правка модуля — смена мира. Модуль-близнец контракта схемы:
|
|
там колонки, здесь числа.
|
|
|
|
**Когорта дня**:
|
|
Люди, впервые пришедшие в мир в один день, со всеми их куками и днями
|
|
активности. Единица плана состава: когорта — функция зерна и номера дня.
|
|
|
|
**Приток**:
|
|
Появление новых кук на всём протяжении оси модельного времени; единица —
|
|
кука (`ClientID`). Из-за притока накопленная аудитория растёт с
|
|
горизонтом и не совпадает с дневной.
|
|
|
|
**Хвост возвратов**:
|
|
Окно активности, отсчитанное от первого дня человека и общее на обе
|
|
его куки; дольше окна кука не возвращается.
|
|
|
|
**Предыстория**:
|
|
Когорты плана с первым днём активности до D0; событий не порождают.
|
|
|
|
**День активности**:
|
|
День, в который кука хоть раз появилась в мире: день её рождения или день
|
|
возврата. Единица плана состава: за день он у куки один, а визитов внутри
|
|
него бывает несколько.
|
|
_Избегать_: визит (визит — про сессию)
|
|
|
|
**Визит**:
|
|
Подряд идущие события одной куки без пауз длиннее 30 минут, не пересекающие
|
|
границу суток. Поле `VisitID` — эталон для лабы сессий. «Сессия» — то же
|
|
понятие словами аналитики: в данных и в коде оно зовётся визитом, но имена
|
|
вроде «лаба сессий» и «сборка сессий» остаются.
|
|
|
|
**Паспорт куки**:
|
|
Устройство и город, приписанные куке на всю жизнь: кука — это браузер на
|
|
устройстве. Держит их план состава, разворачивает в поля события
|
|
день-функция; у двухкуковой пары город один на две куки, устройства разные.
|
|
|
|
**День-функция**:
|
|
Функция (зерно, номер дня), выдающая упорядоченный поток событий этих
|
|
модельных суток. Состояния между днями нет: день D не зависит от того,
|
|
прожиты ли дни до него.
|
|
|
|
**Каталог товаров**:
|
|
`data/catalog/products.csv` — общий справочник генератора и словаря
|
|
ClickHouse. Форма файла решена, длина — нет: строки дописываются.
|
|
|
|
**Ось модельного времени**:
|
|
Собственный календарь мира генератора. Дни считаются от фиксированного
|
|
первого дня D0; реальный календарь в модели не участвует. Между прогонами
|
|
живут только зерно и позиция на оси.
|
|
|
|
**Пошаговый режим**:
|
|
Базовый способ движения по оси модельного времени: «прожить следующий
|
|
день» — явное действие.
|
|
|
|
**Живой день**:
|
|
Проигрывание текущего модельного дня в реальном времени с ускорением;
|
|
включается по требованию, не постоянный фон.
|
|
|
|
**Пакетный режим**:
|
|
Проигрывание готового дня пачкой, без темпа: заливка снимка при старте
|
|
стенда, пересборки и проверки.
|
|
|
|
**Граница суток**:
|
|
Единственный структурный шов модели: сессии режутся по ней, слепок заказов
|
|
снимается на ней, день проживается только целиком.
|
|
|
|
**Контракт схемы**:
|
|
Python-модуль с описателями колонок события — собственность генератора.
|
|
Из него выводятся генератор, валидация и документация формата; хранилище
|
|
строится по документации, не по модулю.
|
|
|
|
**Нормализованное имя**:
|
|
Имя колонки источника, приведённое к нашему стилю (snake_case). Живёт в
|
|
контракте схемы и в описании выгрузки. Не то же, что имя атрибута в модели
|
|
данных: слой DDS складывает модель и называет атрибуты по ней.
|
|
|
|
**Описание выгрузки**:
|
|
Публичная документация формата события: таблица колонок, собранная из
|
|
контракта схемы. По ней пишется сторона хранилища — как в бою по документации
|
|
источника. Правится только контракт, документ пересобирается.
|
|
_Избегать_: описание схемы, документация контракта
|
|
|
|
**Канонический сериализатор**:
|
|
Единственное место, где событие превращается в байты. Фиксированный порядок
|
|
ключей и строк — основа побайтовой воспроизводимости.
|
|
|
|
**Проигрыватель**:
|
|
Компонент доставки готового потока дня в приёмник. Два режима: пакетный
|
|
(пачкой, без темпа) и живой день.
|