ddadminandClaude Opus 5
2890c7f9fb
- Зачем:
- этап 2 начинается с формы: контракт схемы — источник истины и для
генерации событий, и для DDL хранилища, а имена пакета и модулей
задают границы всем следующим тикетам этапа.
- Что:
- заведён uv-проект generator/ (pyproject.toml и uv.lock в git; numpy,
pytest и ruff), пакет clickstream_generator.
- schema.py — контракт: чистые данные о 47 колонках выгрузки (имя
Метрики, тип ClickHouse, тип numpy, имя для DDS, группа); порядок
несёт сам кортеж COLUMNS, отдельного поля с номером нет намеренно.
- schema_doc.py собирает из контракта описание выгрузки
docs/formats/clickstream-event.md — по нему пишется сторона
хранилища; документ руками не правится.
- тесты: инварианты контракта (состав, уникальность, заполненность,
согласие типов и порядок групп) и свежесть описания выгрузки.
- цели make lint, make test и make docs; README, AGENTS.md и
CONTEXT.md дополнены генератором, форматами и словарной статьёй.
- Проверка:
- make test (248 тестов), make lint, make config-test;
- make docs, затем git diff --exit-code docs/ — пусто.
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
59 lines
3.8 KiB
Markdown
59 lines
3.8 KiB
Markdown
# Кликстрим-платформа (стенд v2)
|
|
|
|
Словарь понятий проекта: одни и те же слова для одних и тех же вещей —
|
|
у владельца, кода, документов и агентов. Только язык, никаких решений.
|
|
|
|
## Язык
|
|
|
|
**Хранилище**:
|
|
Аналитическая база стенда — кластер ClickHouse со слоями STG/ODS/DDS/DM.
|
|
Принимающая сторона границы «трекер | хранилище»: нормализует имена и стили
|
|
источников, строится по их документации.
|
|
_Избегать_: склад, склад данных
|
|
|
|
**Состав мира**:
|
|
Постоянная часть мира генератора — популяция посетителей с календарём их
|
|
появления, привычки, календарь двухкуковых пар. Чистая функция зерна:
|
|
вычисляется при старте любого процесса, между прогонами не хранится.
|
|
_Избегать_: состояние мира
|
|
|
|
**Ось модельного времени**:
|
|
Собственный календарь мира генератора. Дни считаются от фиксированного
|
|
первого дня D0; реальный календарь в модели не участвует. Между прогонами
|
|
живут только зерно и позиция на оси.
|
|
|
|
**Пошаговый режим**:
|
|
Базовый способ движения по оси модельного времени: «прожить следующий
|
|
день» — явное действие.
|
|
|
|
**Живой день**:
|
|
Проигрывание текущего модельного дня в реальном времени с ускорением;
|
|
включается по требованию, не постоянный фон.
|
|
|
|
**Пакетный режим**:
|
|
Проигрывание готового дня пачкой, без темпа: заливка снимка при старте
|
|
стенда, пересборки и проверки.
|
|
|
|
**Граница суток**:
|
|
Единственный структурный шов модели: сессии режутся по ней, слепок заказов
|
|
снимается на ней, день проживается только целиком.
|
|
|
|
**Контракт схемы**:
|
|
Python-модуль с описателями колонок события — собственность генератора.
|
|
Из него выводятся генератор, валидация и документация формата; хранилище
|
|
строится по документации, не по модулю.
|
|
|
|
**Описание выгрузки**:
|
|
Публичная документация формата события: таблица колонок, собранная из
|
|
контракта схемы. По ней пишется сторона хранилища — как в бою по документации
|
|
источника. Правится только контракт, документ пересобирается.
|
|
_Избегать_: описание схемы, документация контракта
|
|
|
|
**Канонический сериализатор**:
|
|
Единственное место, где событие превращается в байты. Фиксированный порядок
|
|
ключей и строк — основа побайтовой воспроизводимости.
|
|
|
|
**Проигрыватель**:
|
|
Компонент доставки готового потока дня в приёмник. Два режима: пакетный
|
|
(пачкой, без темпа) и живой день.
|