- Зачем:
- этап 2 начинается с формы: контракт схемы — источник истины и для
генерации событий, и для DDL хранилища, а имена пакета и модулей
задают границы всем следующим тикетам этапа.
- Что:
- заведён uv-проект generator/ (pyproject.toml и uv.lock в git; numpy,
pytest и ruff), пакет clickstream_generator.
- schema.py — контракт: чистые данные о 47 колонках выгрузки (имя
Метрики, тип ClickHouse, тип numpy, имя для DDS, группа); порядок
несёт сам кортеж COLUMNS, отдельного поля с номером нет намеренно.
- schema_doc.py собирает из контракта описание выгрузки
docs/formats/clickstream-event.md — по нему пишется сторона
хранилища; документ руками не правится.
- тесты: инварианты контракта (состав, уникальность, заполненность,
согласие типов и порядок групп) и свежесть описания выгрузки.
- цели make lint, make test и make docs; README, AGENTS.md и
CONTEXT.md дополнены генератором, форматами и словарной статьёй.
- Проверка:
- make test (248 тестов), make lint, make config-test;
- make docs, затем git diff --exit-code docs/ — пусто.
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
3.8 KiB
Кликстрим-платформа (стенд v2)
Словарь понятий проекта: одни и те же слова для одних и тех же вещей — у владельца, кода, документов и агентов. Только язык, никаких решений.
Язык
Хранилище: Аналитическая база стенда — кластер ClickHouse со слоями STG/ODS/DDS/DM. Принимающая сторона границы «трекер | хранилище»: нормализует имена и стили источников, строится по их документации. Избегать: склад, склад данных
Состав мира: Постоянная часть мира генератора — популяция посетителей с календарём их появления, привычки, календарь двухкуковых пар. Чистая функция зерна: вычисляется при старте любого процесса, между прогонами не хранится. Избегать: состояние мира
Ось модельного времени: Собственный календарь мира генератора. Дни считаются от фиксированного первого дня D0; реальный календарь в модели не участвует. Между прогонами живут только зерно и позиция на оси.
Пошаговый режим: Базовый способ движения по оси модельного времени: «прожить следующий день» — явное действие.
Живой день: Проигрывание текущего модельного дня в реальном времени с ускорением; включается по требованию, не постоянный фон.
Пакетный режим: Проигрывание готового дня пачкой, без темпа: заливка снимка при старте стенда, пересборки и проверки.
Граница суток: Единственный структурный шов модели: сессии режутся по ней, слепок заказов снимается на ней, день проживается только целиком.
Контракт схемы: Python-модуль с описателями колонок события — собственность генератора. Из него выводятся генератор, валидация и документация формата; хранилище строится по документации, не по модулю.
Описание выгрузки: Публичная документация формата события: таблица колонок, собранная из контракта схемы. По ней пишется сторона хранилища — как в бою по документации источника. Правится только контракт, документ пересобирается. Избегать: описание схемы, документация контракта
Канонический сериализатор: Единственное место, где событие превращается в байты. Фиксированный порядок ключей и строк — основа побайтовой воспроизводимости.
Проигрыватель: Компонент доставки готового потока дня в приёмник. Два режима: пакетный (пачкой, без темпа) и живой день.