Files
clickstream-data-platform/generator
ddadminandClaude Opus 5 d17bd4e876 fix(generator): правки по линии ревью Кодекса — зёрна, словарь, сторожа
- Зачем:
  - третья линия ревью (Кодекс, другое семейство моделей) нашла дыру в
    стороже неизменности когорты, отставший словарь и тест, который
    сторожил не тот адрес дерева зёрен.
- Что:
  - когорта отдаётся видом на замороженный массив: флаг только для
    чтения вызывающий мог снять и испортить память, которой пользуются
    все дни окна. Граница защиты названа в докстроке — от случайности,
    не от умысла.
  - CONTEXT.md и комментарий `RETURN_TAIL_DAYS`: окно активности — от
    первого визита человека, общее на обе куки (спека это уже говорила,
    словарь отстал).
  - сторож предыстории сверял день −N с днём N, а сталкиваются −N и
    N−1; тем же классом слепоты страдали сторожа независимости состава
    и дня и различия компонентов — все три переписаны на сверку со всем
    куском адресов, куда подпоток мог бы попасть.
- Проверка:
  - make test (297), make lint, make typecheck;
  - батарея из 17 мутантов по plan/world/seeds — выживших нет; гоняется
    с PYTHONDONTWRITEBYTECODE=1: цикл правки и отката внутри одной
    секунды оставлял устаревший .pyc, и тесты шли по старому байт-коду.
- Отклонено с доводом:
  - перепроверка настаивала, что сторож неизменности не закрыт: через
    `.base` вида владелец данных размораживается. Верно фактически, но
    закрывающего состояния у находки нет — владелец памяти в numpy
    размораживается всегда, а копия когорты на каждый вызов меняет 2 мс
    на 16 МиБ копирования и убивает смысл запоминания.

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
2026-08-02 13:13:41 +03:00
..

Генератор кликстрима

Клиентская сторона стенда: отсюда берётся поток событий — широкое событие по образцу облачной выгрузки Яндекс Метрики. Устройство и принятые решения — спека «Генератор (этап 2)».

Пока здесь контракт схемы события и план состава мира — событий генератор ещё не порождает.

Что где лежит

  • src/clickstream_generator/world.py — конфигурация мира: все его числа одним местом. Правка любого — смена мира; крутить их и предлагается.
  • src/clickstream_generator/seeds.py — иерархия зёрен: кто из какого подпотока берёт случайность. На ней держится весь детерминизм.
  • src/clickstream_generator/plan.py — план состава: кто есть в мире в день D. Когорты, приток, двухкуковые пары и счётчики — до генерации событий.
  • src/clickstream_generator/schema.py — контракт схемы: чистые данные о колонках выгрузки. Собственность генератора; из него выводятся сам генератор, его валидация и описание выгрузки в доках.
  • src/clickstream_generator/schema_doc.py — сборка «описания выгрузки» (docs/formats/clickstream-event.md) из контракта. Документ руками не правят — пересобирают.
  • tests/ — инварианты контракта, свежесть описания и обещания плана: чистота от зерна, приток, гарантия двухкуковых пар.

Команды

Из корня репозитория:

  • make test — тесты генератора;
  • make lint — ruff: проверка и формат;
  • make typecheck — ty: проверка типов;
  • make docs — пересобрать описание выгрузки.

Python и зависимости — через uv, версии закреплены в uv.lock: на этом держится обещание побайтовой воспроизводимости (спека, раздел 2).