clickstream-ch-kafka-superset-demo/.scratch/handoffs/20260719-2144-hitl-mentee-path-redesign.md

Handoff: ручной HITL пути менти пройден — вырос в набросок редизайна

Дата: 2026-07-19 21:44. Жанр: handoff по ADR-0003 после сессии «ручная HITL-проверка пути менти» (долг переносился пятый handoff подряд — закрыт).

Что сделано

• HITL-проверка пути менти пройдена целиком, своими руками через UI. Чистый стенд (make clean + make up) -> Airflow UI: ddl_init -> generator_control backfill (профиль ci) -> ETL -> make superset-init -> дашборд глазами -> generator_control next-day -> проверка стыка. Каждый шаг сверен по данным (ClickHouse, manifest, chain-check).
• Результат мира: backfill [00:00, 06:00) = 16 054 события; после next-day = 110 602 события, визитов 10 228, пользователей 1 726; boundaries = три границы, model_t_end = 2026-01-02 06:00. generated-history-chain-check — EXIT 0 (стык 06:00: 9 переходящих визитов, непарных 0, однородность подтверждена).
• 9 находок + рамочная модель — в .scratch/generator-model-time-startup-history/hitl-findings.md. Половина находок родилась из наблюдений менти. HITL из «проверить, что не сломалось» перерос в набросок редизайна пути менти.

Ключевые выводы (кратко; подробно — в hitl-findings.md)

• Рамочная модель менти: основной режим — import артефакта (база), дальше две ветки от одного состояния: next-day (пакетно) и continue (живой поток). Это три разных лабораторных. next-day и continue не схлопывать. Подтверждено launch.py:117-137.
• F7 + замер: опыт на 6h беден; нужен готовый артефакт из файла. Артефакт 6h = 49 МБ; xz -9e -> 1,1 МБ (48x, 13,5 с). На 3 дня ~13 МБ — кладётся в обычный git. Паттерн-образец: airflow-greenplum-solution (bookings/seed/demo.sql.xz).
• Решение менти: целевой стартовый мир — 3 дня на daily-wave (обсуждаемо). На ci три дня плоские — волну даёт daily-wave.
• F8: два профиля путают. Свести к одному учебному (волна, ×60); ci (×1) — служебный для тестов. ×60 оправдан live-лабой (continue).
• F9: next-day растёт O(N²) из-за полной перечитки Kafka для счётчиков (service.py:591). Параллелить не то (ломает детерминизм); правильно — инкрементальные счётчики (O(N), снимает риск OOM). Это и есть решение «новый формат состояния manifest», блокирующее расписание.
• F1, F5 (баги UI): форма generator_control держит необязательные поля обязательными (type="string" без null); Airflow и Superset быстро разлогинивают (ротацию секрета исключил, корень TBD).

Состояние

• Ветка feature/data-generator. После этого handoff в дереве останутся: hitl-findings.md + этот handoff (коммитятся), плюс не коммитить data/ci_backfill.json (49 МБ, побочный от backfill; .gitignore его не покрывает — риск, см. ниже).
• Стенд оставлен поднятым по просьбе пользователя; в мире 1,25 суток (профиль ci), live-генератор не запущен. Выросший мир можно смотреть в Superset (dashboard id 1).

Что дальше

1. Разложить находки в постановки по плейбуку (этапы 1-2, двойное слепое ревью). Ориентировочно ~4 задачи (номера 21+ в issues/):
   • Ядро: эталонный 3-дневный артефакт (daily-wave) как база менти через import; формат/сжатие (xz, нужен ли raw_topics); место хранения (git после отладки сида). Снимает F7.
   • Профиль: один учебный профиль, ci -> служебный тестовый. Перед слиянием проверить, не зависит ли live-тест от скорости ×1 (F8).
   • Расписание + retention: беспараметрный DAG next-day (F1/F3), schedule, инкрементальные счётчики manifest (F9/F6). Это одна связка — их корень общий.
   • Баг-фиксы: F1 (форма) и F5 (разлогин); F4 (JS-баг Grid) низкий.
2. Три режима -> свои уроки/лабы — вход в учебный контент (docs/course/). Под каждую ветку отдельная лаба: next-day (пакетная инкрементальная обработка) и continue (потоковый приём); общая база import — их совместное начало. Отдельно от инфраструктурных задач.
3. Мелочь по гигиене: data/*.json не покрыт .gitignore — побочные артефакты backfill (49 МБ) рискуют попасть в коммит. Решить: правило в .gitignore или чистить артефакты после прогонов.

Проверки этой сессии

• ddl_init: 4 слоя созданы (stg 12 / ods 8 / dds 2 / dm 6 таблиц).
• Форма мира после backfill: пирамида 445 < 1516 < 16 054, интервал [00:00, 06:00) точный.
• После next-day: 3 границы в manifest, мир до 2026-01-02 06:00.
• generated-history-chain-check: EXIT 0.
• Длительность next-day (метаданные Airflow): задача run_next_day 638 с (~10,6 мин); ETL trigger_etl 30 с — узкое место в генерации.
• Замер сжатия: xz -9e 48x за 13,5 с; gzip -9 17x.

Отклонения процесса

• Ревью субагентами не запускали: пользователь просил «свежий взгляд», что по договорённости = без субагентов. Проверка проведена мной руками.
• Обход бага F1: форму backfill/next-day заполняли значениями профиля ci целиком (пустые необязательные поля UI не пропускает).

Suggested skills

• claude-subagent-playbook — разложить находки в постановки тем же конвейером (этапы 1-2 с нуля).
• conventional-commits — коммиты.
• research / Context7 — для задачи про профиль/форму (Airflow Param type=["null","string"]) и про формат артефакта.