- Зачем:
- зеркальный codex-subagent-playbook ушёл вперёд по договорам ревью и
экономии контекста координатора; согласованный с пользователем список
находок перенесён в этот скилл.
- Что:
- SKILL.md: установка «оптика, не конвейер», гейт и ручки эскалации для
субагентов, саморевью исполнителя, шкала риска ревью с линзами
TASK/CODE, статусы триажа с предохранителем кругов, постепенная
приёмка с саморефлексией, раздел «Сбои координации».
- prompts/: устойчивые ID находок, четыре статуса триажа, резолюции — в
файл отчёта вместо тикета (лечит эхо файла задачи); новые
result-contract.md и runtime-language.md.
- prompt-templates.md: файлы линий ревью, сборка промптов с хвостом
языка, вердикт перепроверки из task-notification; lessons.md — гейт
на дистилляцию и датированная отмена урока про доводы в файле задачи.
- Проверка:
- проверка относительных ссылок и git diff --check — чисто.
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
234 lines
22 KiB
Markdown
234 lines
22 KiB
Markdown
# Эмпирика прогонов
|
||
|
||
Датированные факты: что поймал каждый этап конвейера, казусы, цифры.
|
||
Дописывай после каждого прогона — это и есть «выжимка опыта», ради которой
|
||
скилл существует. Журнал накопительный, поэтому дистиллируй: когда урок
|
||
поглощён SKILL.md или references, сжимай его запись здесь до строки-факта
|
||
(дата, что случилось, куда поглощено) — иначе файл растёт бесконечно.
|
||
Новые факты прогона дописывай свободно; дистилляцию и правку старых
|
||
записей согласуй с пользователем — это долговечная эмпирика.
|
||
|
||
## 2026-07-06 — t2-ml-forecast, задача 05 (первый прогон; дистиллировано 2026-07-12)
|
||
|
||
- Свежий взгляд на постановку окупился: блокер name_ru (в данных — английский),
|
||
две «одностроки» с проектными решениями, дыра регенерации `.ipynb`.
|
||
Поглощено: SKILL.md этап 2.
|
||
- Казус форвардера: субагент, получив постановку вместо команды, реализовал
|
||
задачу сам (+1227 строк). Поглощено: SKILL.md этап 3, codex-exec (раннер).
|
||
- Слепое двойное ревью: пересечение находок — ноль; Клод подтвердил математику
|
||
и артефакты, Codex нашёл две дыры в тестах. Поглощено: SKILL.md (роли).
|
||
- Смерть фонового ревьюера без доставленного отчёта; транскрипт не спас.
|
||
Поглощено: SKILL.md этап 4 (вердикт — файлом, сообщение — указателем).
|
||
- Цифры: ревью постановки ~60k токенов; конвейер ~3 часа, реализация ~20 мин.
|
||
|
||
## 2026-07-07 — наглядность витрины (полный конвейер; дистиллировано 2026-07-12)
|
||
|
||
- Idle-уведомление ≠ отчёт; голый поллер вне run_in_background умирает при
|
||
смене хода; статус job — не истина (зомби «running» после смерти воркера:
|
||
истина — mtime артефакта + лог + pgrep). Поглощено: SKILL.md
|
||
(«Пользователь в петле»), codex-exec (фоновый запуск, раннер).
|
||
- Безадресный resume подхватывает чужой тред. Поглощено: codex-exec.
|
||
- Доводы отклонений — в файл задачи (свежий тред продолжает без контекста
|
||
предшественника). Отменено 2026-07-19: доводы — в файл отчёта триажа,
|
||
свежий тред получает его путём; тикет в триаже не правится (эхо файла
|
||
задачи, прогон 13). Поглощено: prompts/triage-header.md, SKILL.md 5–6.
|
||
- Не поглощено (держать в уме при постановке): правила задачи ранжировать
|
||
явно («правило A главнее буквы E») — внутренние противоречия всплывают
|
||
после починки.
|
||
- Цифры: реализация 18 мин; триаж ~8 мин; тесты 147 -> 154.
|
||
|
||
## 2026-07-09 — local-transcriber, SendTo (первый под Windows; дистиллировано 2026-07-12)
|
||
|
||
- Git Bash-стек работает целиком; классификатор режет companion `--write`,
|
||
прямой `codex exec` проходит. Поглощено: codex-exec.
|
||
- Свежий взгляд: 2 major (OEM-кодировка `.cmd` на кириллическом профиле,
|
||
протухание пути venv) + load-bearing порядок проверок. Поглощено: этап 2.
|
||
- Отписка: вердикт одной строкой, проверка по JSONL подтвердила работу.
|
||
Поглощено: SKILL.md этап 4, codex-exec.
|
||
- Эмпирический ревьюер (воспроизведение краевых случаев вне репо) — вердикт
|
||
твёрже. Поглощено: SKILL.md этап 4, boilerplate шаблонов.
|
||
- Цифры: ревью постановки ~57k, кода ~48k, перепроверка ~45k токенов.
|
||
|
||
## 2026-07-10 — четыре записи (дистиллировано 2026-07-12)
|
||
|
||
- Ревьюер Codex без read-only: мандат промптом надёжен, песочница не режется.
|
||
Поглощено: codex-exec (ветка ревьюера).
|
||
- Sandbox-инцидент CLI 0.144.1 (bwrap+userns vs AppArmor) и ловушка memfd
|
||
(профиль на путь bwrap не цепляется — вешать на бинарь codex). Поглощено:
|
||
codex-exec + codex-sandbox-apparmor.md.
|
||
- Постановка через `/to-tickets` ложится в конвейер без трения; двойное
|
||
слепое ревью постановки окупилось (Клод — механика кода, Codex — уровень
|
||
требований; пересечение 2 из ~15). Поглощено: SKILL.md этапы 1–2.
|
||
- Ретро расхода контекста (3 цикла): находки проходили через оркестратора
|
||
до шести раз; review-промпт дублировался; ~7 пустых ходов на idle-пингах.
|
||
Поглощено: SKILL.md (роль оркестратора: индекс, cat, файлы), шаблоны.
|
||
|
||
## Прогон 2026-07-12: clickstream-demo, задача 20 — флаки runtime-гейта
|
||
|
||
Полный конвейер + три захода стендовой приёмки. Главный урок прогона:
|
||
**ревью по чтению кода не заменяет сквозный прогон** — два класса дефектов
|
||
вскрылись только на стенде.
|
||
|
||
**Что поймал каждый этап:**
|
||
- Ревью постановки (Opus): настоящий корень — отсутствие SIGTERM-хендлера
|
||
(python PID 1, SIGKILL после grace); один из двух вариантов фикса в
|
||
постановке гонку не закрывал. Плюс критерий «красный сценарий всё ещё
|
||
ловится» и запрет вероятностных смягчений.
|
||
- Слепые ревью: Codex — grace-период 10с и обходимость precheck (пара из
|
||
старой backfill-строки); Клод — подтвердил структурный довод, на узкой
|
||
перепроверке принёс НОВУЮ находку (тест биндил порт 9109 — флаки 1/13).
|
||
Пересечение — 2 темы из ~8 (grace, слабый контракт-тест): не «стабильно
|
||
ноль», но малое; обе родословные оправдались.
|
||
- Стендовая приёмка (3 захода): (1) гейт годами жил на побочном эффекте
|
||
бага — пересекающие визиты давала «нелегальная переработка» генератора
|
||
после игнорируемого SIGTERM; честный фикс оставил проверку без сырья;
|
||
(2) таймзона: наивные метки STG (UTC) против границы с `+00:00` на
|
||
сервере Europe/Moscow — precheck был зелёным вакуумно; та же ошибка — в
|
||
приёмочном скрипте координатора (наивная конвенция DDS). Урок: сравнение
|
||
времени в SQL — только с явным поясом с обеих сторон.
|
||
|
||
**Ретро контекста оркестратора** (главный пожиратель — внеплановые циклы):
|
||
диагнозы падений приёмки велись мастером инлайн (~15 вызовов); boilerplate
|
||
промптов переписывался трижды; обменные файлы шли кириллицей (×1,5–2);
|
||
правки задачи-файла — тремя крупными Edit (old+new = двойной текст);
|
||
промпты будильников пересказывали план. Поглощено 2026-07-12: SKILL.md
|
||
(принцип «мастер решает — субагенты выясняют», стоп-кран «сам — максимум
|
||
один заход», механика — fast-worker'у, обменные файлы на английском,
|
||
будильник одной строкой, сквозная проверка до ревью, фолбэк ревьюера
|
||
deep-reasoner — обкатан этим прогоном), prompt-templates + prompts/
|
||
(готовые boilerplate-файлы, английские скелеты), codex-exec (модель
|
||
gpt-5.6-sol, medium для узких починок, ловушка `&`). Слепое Fable-ревью
|
||
самого скилла (по глоссарию writing-great-skills): восстановление после
|
||
rm -rf подтверждено без потерь, 9 MINOR + 5 NIT согласованности — все
|
||
закрыты тем же днём.
|
||
|
||
**Прочее:** казус двойного фона (`&` при run_in_background) — спасён
|
||
ожидателем `kill -0`; принятие остаточного риска (публикация не ограничена
|
||
по времени) зафиксировано доводом в задаче — паттерн «риск принят + после
|
||
фикса такой отказ падает громко и честно» работает как аргумент приёмки.
|
||
Отдельный казус координатора: `rm -rf` «зеркала» скилла прошёл сквозь
|
||
симлинк `~/.claude/skills -> dotfiles` и снёс оригинал; восстановлено из
|
||
git (`git show HEAD:path`) + повторным наложением правок из контекста.
|
||
Урок: перед rm — `ls -la` цели и родителя, симлинк-родитель = чужая
|
||
территория.
|
||
|
||
**Цифры:** реализация ~25 мин; ревью постановки 75k токенов субагента,
|
||
ревью кода 65k, перепроверка 80k (с новой находкой); приёмка — 4 прогона
|
||
гейта по ~1,5 мин + красный сценарий; тесты 190 -> 192 + 21.
|
||
|
||
## Прогон 2026-07-12/13: clickstream-demo, задача 13 — глагол next-day
|
||
|
||
Первый прогон после поглощения уроков задачи 20 — они сработали: вердикты
|
||
читались по одному разу, boilerplate не переписывался (cat из prompts/),
|
||
обмен на английском, ноль инлайн-диагнозов мастера (стоп-кран держит),
|
||
будильники одной строкой (9 взводов, ни один не сработал впустую — все
|
||
сняты по уведомлениям).
|
||
|
||
**Что поймал каждый этап:**
|
||
- Двойное ревью постановки: пересечение 5 тем из ~15 (guard, идемпотентность,
|
||
атомарность, формат цепочки, проверки). Уникальное: Клод — «next-day =
|
||
новый режим запуска, постановка прячет основную работу за словом
|
||
„переиспользует"»; Codex — «расписание запустит дефолтный backfill»
|
||
(скоуп-решение: расписание вынесено отдельной задачей).
|
||
- Слепые ревью кода: пересечение 1 тема из ~12 (нулевой стык). Codex —
|
||
дефекты нового скрипта (хвост за границей, TZ), Клод — архитектура
|
||
(retention Kafka против пересборки счётчиков — блокер будущей задачи,
|
||
скрытая связка наборов настроек). Родословные разошлись почти полностью.
|
||
- Эмпирика исполнителя: требование обоих ревью («громкий отказ на нулевом
|
||
стыке») покраснело на честном стенде — ночной провал трафика, снова класс
|
||
«артефакт верификатора». Диагноз по данным делегирован исполнителю тем же
|
||
тредом (state на границе: 0 активных визитов — restore ни при чём).
|
||
Урок: требование ревьюеров сверяй с критериями приёмки и реальным
|
||
распределением данных, прежде чем принять его в код.
|
||
- Узкая перепроверка Codex снова принесла новый MAJOR (микросекунды в
|
||
UTC-нормализации) — второй прогон подряд, считать штатным режимом.
|
||
|
||
**Новые пожиратели контекста мастера, по убыванию:**
|
||
1. Эхо файла задачи: исполнитель дописал резолюции в тикет, который мастер
|
||
сам писал на этапе 2, — харнесс вкатил в контекст все ~190 строк; итого
|
||
текст тикета прошёл через мастера трижды (Write + эхо + финальное
|
||
чтение). Не поглощено; митигация неочевидна — резолюции проекту нужны
|
||
именно в тикете. Держать в уме при выборе, кто пишет файл задачи.
|
||
2. Клод-ревьюер держит формат индекса хуже Codex: многострочные находки и
|
||
развёрнутые confirmations при жёстком boilerplate («one-phrase essence»).
|
||
Поглощено: обёртка Клод-ревьюера в prompt-templates дополнена
|
||
напоминанием об однострочности.
|
||
3. Авторство решений этапа 2 — у мастера по определению (110 строк
|
||
кириллицы в тикет после двойного ревью постановки): это цена этапа, на
|
||
мелких задачах конвейер не разворачивать (правило уже в SKILL.md,
|
||
теперь с ценником).
|
||
|
||
Дешёвый приём: вердикт перепроверки Клода взят из строки task-notification
|
||
(обёртка требует финальным актом только VERDICT-строку) — файл не читался.
|
||
|
||
**Цифры:** конвейер ~2 часа от ревью постановки до приёмки; реализация
|
||
~30 мин; Клод-субагенты: ревью постановки 94k, кода 108k, перепроверка
|
||
126k токенов; Codex-ревью: 42/36 команд; 2 круга триажа + узкий диагноз;
|
||
тесты 192 -> 204 + 21 -> 31; учебный цикл: DM 322 -> 10 026 -> 19 196 за
|
||
два next-day.
|
||
|
||
## Прогон 2026-07-13: t2-presale, тикет 06 — совместимость со средой стенда
|
||
|
||
**Главный урок — информирование пользователя.** Статусы на границах этапов
|
||
были телеграфными и в терминах плейбука («этап 4», «триаж», «узкая
|
||
перепроверка»); эпизодически заглядывающий пользователь потерял нить:
|
||
спросил «мы остановились?» при живом фоне, а после финала считал, что
|
||
конвейер ещё на ревью постановки и «решение удалили». Фидбек дословно:
|
||
«информирование о ходе процесса было очень скудным». Урок: на каждой
|
||
границе — карта прогресса 4–7 строк (✅ сделано / ▶ идёт / ⬜ дальше)
|
||
обычными словами, термины плейбука только с расшифровкой; карта дополняет
|
||
содержательную сводку, не заменяет. Кандидат на поглощение в SKILL.md
|
||
(«Пользователь в петле»).
|
||
|
||
**Что поймал каждый этап:**
|
||
- Ревью постановки с эмпирикой перекроило тикет до реализации: Codex из
|
||
контейнера установил, что во внутренних зеркалах duckdb нет вовсе
|
||
(BLOCKER → план Б wheel'ом с публичного PyPI) и что названный в тикете
|
||
кандидат convert_dtypes теряет точность через float64 — исполнитель
|
||
сразу пошёл верным путём.
|
||
- Фактическое противоречие ревьюеров (верхний cp37-wheel duckdb: «0.10.3»
|
||
у Клода против «1.2.2» у Codex) оркестратор снял ОДНОЙ контрольной
|
||
командой (`pip download` в контейнере) до триажа — дёшево, а от факта
|
||
зависел пин. Приём: конфликт фактов — контрольный эксперимент, не
|
||
голосование.
|
||
- Слепые ревью кода: пересечение БОЛЬШОЕ (одна корневая тема — регрессии
|
||
нового вывода типов против старого пути: int64-переполнение роняло
|
||
загрузку, пробелы, BOOLEAN, inf). Контрпример к «пересечение ~ноль»:
|
||
когда правка замещает хорошо определённое старое поведение, обе
|
||
родословные сходятся на охоте за регрессиями — и это признак качества
|
||
находок, а не растраты.
|
||
- Перепроверка снова принесла хвост (смесь конечных с inf/-inf — DOUBLE):
|
||
третий прогон подряд, подтверждён штатный режим.
|
||
|
||
**Прочее:** сетевые шаги с доступами пользователя (docker login/pull)
|
||
координировались `!`-командой в чат — работает без трения. Первый полный
|
||
прогон на gpt-5.6-sol как боевой модели — пользователь подтвердил цену,
|
||
качество исполнителя и ревьюера без нареканий.
|
||
|
||
**Цифры:** постановка + двойное ревью постановки ~1 ч; реализация ~25 мин;
|
||
2 круга триажа + 2 узкие перепроверки; тесты 36 → 45 → 46, зелёные в двух
|
||
средах (современная + vendor-контейнер py3.7); приёмка оркестратора — оба
|
||
прогона своими руками.
|
||
|
||
**Модели (датированная эволюция, к прогону 2026-07-13):**
|
||
- Урок о скоропортящихся фактах: 2026-07-10 утечка gpt-5.6-sol из конфига
|
||
считалась казусом («фронтир = дорогие лимиты»), 2026-07-13 пользователь
|
||
переоценил — Sol умная и относительно недорогая, теперь боевой дефолт.
|
||
Правило «модель явно, из конфига не наследовать» выжило, но по другой
|
||
причине: воспроизводимость, а не цена. Факты о ценах/лимитах моделей —
|
||
датировать и перепроверять у пользователя, не тащить из прошлых сессий
|
||
как вечную истину.
|
||
- Effort medium на узких контурах подтверждён боем: круг починки одной
|
||
находки и финальная перепроверка — чисто и быстрее high (до этого
|
||
правило в codex-exec было гипотезой).
|
||
- Роли от пользователя (2026-07-13): Опус — вкус и архитектура; Codex —
|
||
исполнитель (лучше и дешевле); исследование — паритет, Codex дешевле.
|
||
Кандидат на поглощение в SKILL.md (раздел «Роли»).
|
||
- НЕ ОБКАТАНО (рыночная наводка из обзоров, 2026-07-13): gpt-5.6-terra
|
||
medium/high для кода — на medium вдвое дешевле Sol на простых задачах
|
||
при том же уровне, сильно лучше Sonnet; минусы — ощутимо дольше запуск и
|
||
накладные на внешнюю оркестрацию. Вывод на сейчас: лимиты Codex у
|
||
пользователя не узкое место, менять нечего; потенциальная полоса —
|
||
bulk-механика /coordinator-loop и узкие починки, если лимиты станут
|
||
узкими. Проверка — один A/B на реальной узкой починке.
|