docs(generator): issue 09 и 10 дооформлены до ready-for-agent

- Зачем:
  - закрыть последний шаг триажа: без Acceptance criteria и способа приёмки
    задачи нельзя передавать Codex на исполнение.
- Что:
  - issue 09: причина уточнена по коду (расходится источник фактуры — донор
    против seed_click_id, а не индекс), зафиксировано решение хранить донора
    в state, критерии расширены полями location (referer, utm) по итогам ревью.
  - issue 10: приёмка по скриншотам playwright-cli с определением «читаемо»,
    поправлена длительность пересборки (6 часов по умолчанию, не 2 суток),
    отмечено, что legacy world_map, похоже, не умеет легенду и tooltip.
  - handoff триажа дополнен сдвигами в понимании и итогом тройного ревью.
- Проверка:
  - утверждения по коду сверены с generation.py, runtime.py, state.py и
    sql/ddl/dds/30_dds.sql двумя независимыми ревью-агентами.

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
This commit is contained in:
2026-07-04 17:04:18 +03:00
co-authored by Claude Fable 5
parent 95f9b5cbc8
commit f59b6d128f
3 changed files with 192 additions and 50 deletions
@@ -1,4 +1,4 @@
Status: needs-triage
Status: ready-for-agent
# Браузерная фактура не сохраняется на стыке восстановления визита
@@ -9,7 +9,8 @@ Status: needs-triage
## Что нашли
Визит, переживший стык backfill->live (активен на `T_end` и продолжается живьём),
меняет браузерную фактуру в live-продолжении. Внутри одного `click_id` человек как
меняет браузерную фактуру в live-продолжении (фактура — конкретные значения полей
события: какой `browser_name`, user agent, язык стоят в строках). Внутри одного `click_id` человек как
будто «пересел» с одного браузера на другой посреди сессии.
Эмпирика. Чистый стенд, 2 суток backfill + 6 live-тиков за `T_end`,
@@ -37,16 +38,39 @@ Status: needs-triage
внешний review gate другой родословной после задачи 5 — а он был выполнен той же
родословной, и дефект прошёл.
## Причина (гипотеза по коду)
## Причина (подтверждена чтением кода, 2026-07-04)
Конкретные браузерные строки визита (`ActiveVisit.batch`) в state не сериализуются:
хранятся `seed_click_id`, `page_url_paths`, `timestamps`, `next_index` (`state.py`).
При восстановлении live-путь пересобирает фактуру
(`runtime.py._compact_visit_batch`: `browser_by_click_id[seed_click_id]`, индекс
`event_index % len`). device и geo переживают восстановление, потому что привязаны к
`UserProfile` (`user.device`, `user.geo`) и не зависят от индекса события; браузер
зависит от выравнивания `event_index` между уже выпущенной частью и восстановленной —
вероятен рассинхрон индекса. Точную точку уточнить при фиксе.
Первоначальная гипотеза «рассинхрон `event_index`» не подтвердилась: восстановление
перебирает визит с нуля, индекс события выровнен правильно (точнее, берётся
`event_index % len` — по модулю длины списка, см. `runtime.py:332`). Разошёлся сам
**источник** фактуры:
- При рождении визита (`generation.py`, `generate_batch`) браузерные строки берутся
у **случайного** click_id из словаря — «донора» (`rng.choice(visit_candidates)`,
затем `browser_by_click_id[base_click_id]`). Кто донор — нигде не сохраняется,
он живёт только в памяти процесса.
- При восстановлении из state (`runtime.py`, `_compact_visit_batch`) фактура
пересобирается из **другого** click_id — того, к которому привязан пользователь
(`browser_by_click_id[user.seed_click_id]`).
Донор и seed — разные click_id, отсюда разные браузеры. Внутри одного click_id
сида браузер практически постоянен (реальный клик одного человека), поэтому
«каждая сторона внутренне постоянна». `browser_language` разошёлся у 22/22
(случайные click_id почти всегда с разными языками), `browser_name`у 17/22
(популярные браузеры иногда совпадают случайно). device и geo не расходятся,
потому что оба пути берут их из `UserProfile`.
Расхождение шире, чем браузер (уточнение по ревью 2026-07-04). Шаблон location
ищется по event_id браузерной строки (`location_by_event_id[...]` в обоих путях),
то есть тоже зависит от того, чей click_id взят источником. Из state
восстанавливаются только `page_url` / `page_url_path`; остальные per-event поля
location — `referer_url`, `referer_medium`, `utm_*` — приходят от источника и на
стыке расходятся так же, как браузер. Эмпирика выше их просто не замеряла.
Тот же `restore_state` -> `_visit_from_state` -> `_compact_visit_batch` работает и
при восстановлении после сбоя (задача 04) — дефект касается и этого пути, не
только стыка backfill->live. Стык и рестарт на уровне генератора — один и тот же
код, различие только в отбрасывании просроченных визитов.
## Масштаб и важность
@@ -58,15 +82,77 @@ Status: needs-triage
- Для учебного демо урон низкий, но это реальное нарушение стыковой однородности и
сигнал, что браузерная фактура не входит в восстановимое состояние визита.
## Направление фикса
## Решение по направлению фикса (пользователь, 2026-07-04)
- Либо сериализовать браузерную фактуру визита в state рядом с
`page_url_paths`/`timestamps`, чтобы восстановленная часть точно продолжила
выпущенную.
- Либо выбирать браузер по абсолютному `event_index` визита, а не по позиции в
остатке, чтобы restore воспроизводил те же строки.
- В проверку стыка добавить per-event браузерные поля (`dds.event`), а не только
`dds.click`, чтобы регресс ловился автоматически.
**Хранить донора в state.** В сериализацию визита (`_visit_to_state`) добавить поле
с click_id донора фактуры (`base_click_id`), рядом с `page_url_paths` /
`timestamps`. При восстановлении `_compact_visit_batch` берёт строки из
`browser_by_click_id[base_click_id]` — по уже существующему абсолютному индексу
восстановленная часть точно продолжает выпущенную.
Рассмотренные альтернативы (отклонены):
- Брать браузер от `seed_click_id` пользователя уже при рождении визита — schema
state не меняется и семантика красивее («один человек — один браузер»), но
меняется весь выпуск генератора: контрольные суммы, распределение браузеров,
артефакты пришлось бы перегенерировать. Это уже не багфикс, а смена поведения;
если захочется — отдельная задача.
- Сериализовать браузерные строки визита целиком — надёжно, но раздувает state и
дублирует словарь. Перебор: донор + абсолютный индекс дают тот же результат.
Детали для исполнителя:
- В основной ветке рождения донор покрывает визит целиком: кандидаты фильтруются
по `len(browser_events) >= len(visit_path)` (`generation.py:170`), так что
индекс не выйдет за список строк донора и `% len` становится безобидным
холостым ходом (оставить или убрать — на усмотрение при фиксе).
- **Запасная ветка рождения** (`generation.py:182-185`): если кандидатов нет,
берётся одна случайная браузерная строка и повторяется на весь визит — тогда
«восстановить по донору и индексу» даст другие строки. С реальным сидом ветка,
судя по фильтру, не срабатывает — проверить при фиксе и либо превратить её в
громкую ошибку, либо сериализовать так, чтобы восстановление её воспроизводило.
Молча оставить как есть нельзя.
- Неизвестный `base_click_id` при восстановлении — ошибка (по образцу проверки
`seed_click_id` в `_user_from_state`). Сейчас в `_compact_visit_batch` два
тихих fallback'а (`.get(...)` со словарём целиком для браузера и
`location_events[0]` для location) — для донора их заменить на ошибку, не
копировать.
- **Известное расхождение вне скоупа**: event_id при рождении — случайный uuid4
(`generation.py`, `_new_uuid`), при восстановлении — детерминированный uuid5 от
`click_id:index` (`runtime.py:140-141`). Фикс это не трогает: коллизий нет,
дублей не создаёт. Тест поэтому сравнивает события по всем полям, **кроме
`event_id`** — иначе он падает не из-за нашего бага.
- Расширение схемы state — поднять `STATE_VERSION` (`state.py`) и валидацию
нового поля. Старые state становятся несовместимы: поведение при этом — по
действующему правилу (сейчас — предупреждение и чистый старт; громкий отказ
при намерении продолжить делает задача 07, здесь его не реализовывать).
## Acceptance criteria
- [ ] Быстрый автотест на уровне генератора: сгенерировать визит, сохранить state
посреди визита, восстановить и сверить оставшиеся события с продолжением без
рестарта — по **всем** per-event полям, кроме `event_id` (браузерные и
location: referer, utm — не только browser_name; см. «Расхождение шире» выше).
Это один код восстановления для стыка backfill->live и crash-recovery
(задача 04) — одного теста на него достаточно.
- [ ] Проверка стыка на стенде расширена per-event полями: на сценарии из «Что
нашли» (2 суток backfill + live за `T_end`, `GEN_SEED=4242`) визиты через стык
однородны в `dds.event` по браузерным полям (`browser_name`,
`browser_language`) **и** полям источника перехода (referer, utm) — 0
расхождений из `crossing_visits`. Запрос/скрипт проверки сохранён как
повторяемый, а не разовый.
- [ ] Без регрессий на том же сценарии: `duplicate_events=0`, конфликтов
device / os / geo на уровне ODS по-прежнему 0.
- [ ] `STATE_VERSION` поднята, новое поле валидируется; несовместимый старый
state обрабатывается по действующему правилу (см. детали выше).
## Notes
- Рекомендуемый режим ревью по coordinator-loop: **гейт** (state, сериализация —
из порогов риска). Ровно эта слепая зона уже пропустила дефект один раз:
критерий задач 04/05 проверяли только по `dds.click`.
- Задача 13 (доливка) идёт после этого фикса — restore-механизм должен быть
исправлен до того, как на него навешивать доливку.
## Blocked by
@@ -1,4 +1,4 @@
Status: needs-triage
Status: ready-for-agent
# Гео-карта на дашборде нечитаема
@@ -9,39 +9,81 @@ Status: needs-triage
## Что нашли
На финальной ручной приёмке (шаг 2 спеки) виджет «🗺️ Geography Map» показывает
На финальной ручной приёмке (шаг 2 спеки) виджет «🌍 Geography Map» показывает
что-то, но прочитать нельзя:
- нет всплывающих подсказок (tooltip) — навёл на страну, значения не видно;
- нет легенды и подписи шкалы — непонятно, что кодирует цвет и в каких единицах;
- цветовая шкала неочевидна — подсвечено мало стран, остальное пусто.
Виз отрисовывается, но смысл непрозрачен: нельзя сказать, что именно он показывает.
График рисуется, но непонятно, что именно он показывает.
## Две разные причины (не путать)
1. **Читаемость визуализации (эта задача).** Настройка чарта: включить tooltip,
добавить легенду и подпись метрики/единиц, выбрать понятную цветовую шкалу,
при необходимости — заменить мировую choropleth на более читаемую форму
(например, топ-N стран баром), раз распределение сильно разрежено.
2. **Перекос гео-данных (отдельно, ADR-0006).** Сама гео-фактура берётся из
статического сида (`geo_by_click_id`) с перекошенным распределением стран. Это
«временная опора на сид» до синтеза фактуры — лечится не настройкой чарта, а
генерацией гео. Здесь не решаем, только отмечаем как смежную причину.
1. **Читаемость визуализации (эта задача).** Сделать так, чтобы у графика были
tooltip, легенда и подпись метрики/единиц и понятная цветовая шкала — либо
настройкой текущего чарта, либо заменой карты (choropleth — карта, где страна
закрашена по значению) на более читаемую форму, например топ-N стран
столбцами, потому что распределение сильно разрежено. Важно: сейчас это
legacy-виз `world_map` (`superset/create_dashboard.py:149-164`), и у него,
судя по параметрам, легенда и tooltip вообще не настраиваются — скорее всего,
основной путь именно смена типа визуализации, а не подкрутка текущего.
Возможности виз-типов уточнить по актуальной документации Superset через
Context7 (правило AGENTS.md) и зафиксировать выбор.
2. **Перекос гео-данных (отдельно).** Сама гео-фактура (значения стран в
событиях) берётся из статического сида (`geo_by_click_id`), и на приёмке
распределение стран оказалось сильно перекошенным — закрашено мало стран.
Опора на чужой сид — осознанно временная (ADR-0006: своя гео-фактура —
отдельный будущий шаг); лечится это генерацией гео, а не настройкой чарта.
Здесь не решаем, только отмечаем как смежную причину.
## Acceptance criteria
- [ ] У гео-виза есть tooltip со значением по стране.
- [ ] Есть легенда и подпись: какая метрика и в каких единицах кодируется цветом.
- [ ] Цветовая шкала читаема на текущем (разреженном) распределении, либо выбран
более подходящий тип визуализации.
- [ ] Зафиксировано, что перекос распределения стран — это вопрос гео-фактуры
(ADR-0006), а не настройки чарта.
- [ ] У гео-графика есть tooltip со значением по стране (на выбранном типе
визуализации карте или замене).
- [ ] Есть легенда и подпись: какая метрика и в каких единицах кодируется
(для текущей метрики `COUNT(*)` честный ответ — «событий, штук»).
- [ ] Выбранный тип визуализации читаем на текущем (разреженном) распределении;
выбор типа (оставить карту или заменить) зафиксирован с коротким «почему».
- [ ] Зафиксировано, что перекошенное распределение стран — свойство гео-фактуры
из сида (своя генерация гео — отдельный шаг по ADR-0006), а не настройки
чарта.
- [ ] Приёмка пройдена по скриншотам (см. «Как принимать» ниже), скриншот «после»
приложен к итогам задачи.
## Как принимать (дописано 2026-07-04)
Проверка визуальная, через скриншоты playwright-cli (так уже делали в спеке
редизайна дашборда `docs/specs/2026-06-06-superset-dashboard-redesign.md`):
- Скриншоты «до» и «после»: кадр виджета целиком, плюс кадр с наведением курсора
на закрашенную страну / столбец (виден tooltip).
- «Читаемо» значит: по кадру виджета целиком (без обращения к SQL и коду чарта)
можно ответить на три вопроса — какая метрика показана, в каких единицах, у
какой страны значение больше. Если по кадру ответить нельзя — не принято.
- Tooltip — по отдельному кадру с наведением: видно название страны и значение
метрики. Кадр с tooltip в headless-прогоне может стабильно не ловиться
(tooltip следует за курсором); тогда допустим другой способ показать tooltip
(например, короткая запись экрана) — согласовать с человеком, молча не
ослаблять.
Состояние стенда: стенд не трогали с 2026-06-14 и он мог умереть. Это нормально:
полная пересборка (`make generated-history-analytics`) заново генерирует backfill.
По умолчанию она даёт **6 часов** модельной истории
(`GEN_MODEL_T_END` в `scripts/run_generated_history_analytics.sh`) — для приёмки
читаемости этого достаточно. Если нужен вид как на исходной находке (2 суток),
переопределить `GEN_MODEL_T_END` на `T0`+2 суток при запуске; профиль «2 суток
одной командой» — это ещё не сделанная задача 11, здесь её не делать.
Портативный артефакт (задача 07) для этой задачи не нужен и не блокирует её.
## Notes
- Всплыло на просмотре дашборда на данных генерации (2 суток backfill).
- Смежные документы: `superset/create_dashboard.py` (определение чарта),
`docs/SUPERSET_DASHBOARD.md`.
`docs/SUPERSET_DASHBOARD.md` — при смене типа визуализации обновить в этом же
изменении.
- Возможно, стоит расширить до общего прохода по читаемости дашборда (легенды и
подсказки у других виджетов), но базово задача — про гео-карту.
подсказки у других виджетов), но базово задача — про гео-карту. Если проход
делается, он не должен раздувать задачу: заметил — запиши отдельным issue.
- Рекомендуемый режим ревью по coordinator-loop: обычный (риска для state и
данных нет, правка ограничена определением чарта и документацией).