ddmitry/local-transcriber
1
0 Fork 0
Code Issues 5 Pull Requests Actions Packages Projects Releases Wiki Activity

Продолжить CPU-эксперимент на Ryzen и принять финалиста #42

New Issue
Closed
opened 2026-08-31 00:36:05 +03:00 by ddmitry · 1 comment
ddmitry commented 2026-08-31 00:36:05 +03:00
Owner
Copy link
Copy source

Результат

Продолжить эксперимент на Ryzen 7 8845H с состояния, переданного Intel-задачей #41, выбрать максимум двух финалистов и завершить исследование без штатного возврата на Intel.

Сначала прочитать

  1. Эту задачу целиком.
  2. Задачу #41 и все комментарии к ней, включая финальный HANDOFF READY.
  3. docs/specs/2026-08-30-cpu-diarization-experiment.md и связанные документы из раздела Сначала прочитать.
  4. Публичный Intel-отчет и PR, указанные в handoff.

Вход

  • master, содержащий точный handoff-commit после обычного merge Intel-PR;
  • от нуля до трех рецептов комбинаций, измеренных на Intel;
  • переданная пользователем приватная капсула с идентификатором и SHA-256 из handoff.

Если handoff неполон, commit отсутствует в master, SHA-256 не совпадает или --validate-only не воспроизводит переданный план, поставить needs-info и перечислить недостающие данные. Не восстанавливать их догадками.

Выполнить по порядку

  1. Обновить master и проверить, что handoff-commit находится в его истории.
  2. Проверить SHA-256 ZIP-капсулы, внутренние хеши и выполнить --validate-only без вывода приватных путей и текста.
  3. Если передано ноль кандидатов и Intel-итог равен stop-before-ryzen, записать итог stop со ссылкой на Intel-отчет и закрыть задачу без запуска моделей и без нового PR.
  4. При наличии кандидатов создать обычную ветку этой задачи от master и воспроизвести совпадающий baseline на Ryzen.
  5. Выполнить изолированные QDQ и shared-session A/B только для механизмов, используемых переданными комбинациями. Их скорость служит диагностикой; до первичного A/B комбинация выбывает только при нарушении обязательных условий или правила памяти.
  6. Провести один первичный A/B для каждой оставшейся переданной комбинации, максимум для трех.
  7. Оставить максимум два лучших варианта и выполнить для них пять чередующихся A/B-циклов.
  8. Для победителя выполнить полные прогоны и слуховую приемку.
  9. Закоммитить обезличенный Ryzen-отчет и нужные изменения стенда в ветку этой задачи, отправить ветку и открыть PR в master.
  10. В финальном комментарии записать go, needs-decision, stop или new map, ссылки на Intel-отчет, Ryzen-отчет и PR, если он создавался.

Если найденная на Ryzen ошибка стенда делает Intel-результаты недействительными, остановить эксперимент и описать необходимое исправление. Обычный отсев кандидатов продолжается на Ryzen.

Приватность

В Git, Gitea и публичный отчет попадают только хеши, агрегаты, конфигурация и выводы. Записи, manifest, ASR-sidecar, распознанный текст, интервалы, сырые результаты и локальные пути остаются в приватной капсуле.

Проверка

uv run pytest -q \
  tests/test_diarization_calibration.py \
  tests/test_speaker_diarizer.py \
  tests/test_diarization.py

uv run python scripts/benchmarks/diarization_calibration.py \
  --manifest /private/path/manifest.json \
  --validate-only

Приемка

  • handoff #41 восстановлен по точному commit и SHA-256;
  • при наличии кандидатов совпадающий Ryzen-baseline принят;
  • при нуле кандидатов проверен stop-before-ryzen и модели не запускались;
  • все переданные комбинации получили первичный A/B либо нарушили обязательные условия или правило памяти в изолированной проверке;
  • не больше двух финалистов получили пять циклов;
  • при наличии победителя завершены полные прогоны и слуховая приемка;
  • публичный отчет позволяет восстановить решение по агрегатам и ссылке на Intel-отчет;
  • production-профиль и пользовательский контракт не изменены.
## Результат Продолжить эксперимент на Ryzen 7 8845H с состояния, переданного Intel-задачей #41, выбрать максимум двух финалистов и завершить исследование без штатного возврата на Intel. ## Сначала прочитать 1. Эту задачу целиком. 2. Задачу #41 и все комментарии к ней, включая финальный `HANDOFF READY`. 3. `docs/specs/2026-08-30-cpu-diarization-experiment.md` и связанные документы из раздела `Сначала прочитать`. 4. Публичный Intel-отчет и PR, указанные в handoff. ## Вход - `master`, содержащий точный handoff-commit после обычного merge Intel-PR; - от нуля до трех рецептов комбинаций, измеренных на Intel; - переданная пользователем приватная капсула с идентификатором и SHA-256 из handoff. Если handoff неполон, commit отсутствует в `master`, SHA-256 не совпадает или `--validate-only` не воспроизводит переданный план, поставить `needs-info` и перечислить недостающие данные. Не восстанавливать их догадками. ## Выполнить по порядку 1. Обновить `master` и проверить, что handoff-commit находится в его истории. 2. Проверить SHA-256 ZIP-капсулы, внутренние хеши и выполнить `--validate-only` без вывода приватных путей и текста. 3. Если передано ноль кандидатов и Intel-итог равен `stop-before-ryzen`, записать итог `stop` со ссылкой на Intel-отчет и закрыть задачу без запуска моделей и без нового PR. 4. При наличии кандидатов создать обычную ветку этой задачи от `master` и воспроизвести совпадающий baseline на Ryzen. 5. Выполнить изолированные QDQ и shared-session A/B только для механизмов, используемых переданными комбинациями. Их скорость служит диагностикой; до первичного A/B комбинация выбывает только при нарушении обязательных условий или правила памяти. 6. Провести один первичный A/B для каждой оставшейся переданной комбинации, максимум для трех. 7. Оставить максимум два лучших варианта и выполнить для них пять чередующихся A/B-циклов. 8. Для победителя выполнить полные прогоны и слуховую приемку. 9. Закоммитить обезличенный Ryzen-отчет и нужные изменения стенда в ветку этой задачи, отправить ветку и открыть PR в `master`. 10. В финальном комментарии записать `go`, `needs-decision`, `stop` или `new map`, ссылки на Intel-отчет, Ryzen-отчет и PR, если он создавался. Если найденная на Ryzen ошибка стенда делает Intel-результаты недействительными, остановить эксперимент и описать необходимое исправление. Обычный отсев кандидатов продолжается на Ryzen. ## Приватность В Git, Gitea и публичный отчет попадают только хеши, агрегаты, конфигурация и выводы. Записи, manifest, ASR-sidecar, распознанный текст, интервалы, сырые результаты и локальные пути остаются в приватной капсуле. ## Проверка ```bash uv run pytest -q \ tests/test_diarization_calibration.py \ tests/test_speaker_diarizer.py \ tests/test_diarization.py uv run python scripts/benchmarks/diarization_calibration.py \ --manifest /private/path/manifest.json \ --validate-only ``` ## Приемка - handoff #41 восстановлен по точному commit и SHA-256; - при наличии кандидатов совпадающий Ryzen-baseline принят; - при нуле кандидатов проверен `stop-before-ryzen` и модели не запускались; - все переданные комбинации получили первичный A/B либо нарушили обязательные условия или правило памяти в изолированной проверке; - не больше двух финалистов получили пять циклов; - при наличии победителя завершены полные прогоны и слуховая приемка; - публичный отчет позволяет восстановить решение по агрегатам и ссылке на Intel-отчет; - production-профиль и пользовательский контракт не изменены.
ddmitry added the ready-for-agent label 2026-08-31 00:36:05 +03:00
ddmitry commented 2026-09-01 01:00:42 +03:00
Author
Owner
Copy link
Copy source

Итог: new map.

C2 на AMD Ryzen 7 8845H прошла обязательные проверки качества и памяти. Медиана пяти финальных A/B-циклов - 23,57%, MAD - 0,62 п. п.; порог 30% не достигнут. Более быстрые Intel-ветви уперлись в quality gate: W1-W4 потеряли кластер, а C1 требует незакрытой приватной слуховой проверки. Поэтому production-профиль не меняется, а следующий эксперимент должен строить отдельную карту end-to-end диаризации.

Итог: `new map`. C2 на AMD Ryzen 7 8845H прошла обязательные проверки качества и памяти. Медиана пяти финальных A/B-циклов - 23,57%, MAD - 0,62 п. п.; порог 30% не достигнут. Более быстрые Intel-ветви уперлись в quality gate: W1-W4 потеряли кластер, а C1 требует незакрытой приватной слуховой проверки. Поэтому production-профиль не меняется, а следующий эксперимент должен строить отдельную карту end-to-end диаризации. - [Публичный отчет Ryzen-этапа](https://git.dementev.space/ddmitry/local-transcriber/src/branch/issue-42-ryzen-cpu-experiment/docs/benchmarks/2026-08-31-cpu-diarization-ryzen.md) - [PR #44](https://git.dementev.space/ddmitry/local-transcriber/pulls/44)
Sign in to join this conversation.
No Branch/Tag Specified
Labels
Clear labels
needs-info
Ожидает дополнительной информации от автора
 needs-triage
Требует оценки сопровождающим
 ready-for-agent
Полностью описана и готова для автономного агента
 ready-for-human
Требует реализации человеком
 wayfinder:grilling
Тикет карты: решение через разговор по одному вопросу (HITL)
 wayfinder:map
Карта wayfinder: индекс решений и точка входа
 wayfinder:prototype
Тикет карты: дешёвый черновик, чтобы было на что реагировать (HITL)
 wayfinder:research
Тикет карты: чтение источников, итог — markdown-сводка (AFK)
 wayfinder:task
Тикет карты: ручная работа, разблокирующая решение
 wontfix
Выполняться не будет
No labels ready-for-agent
Milestone
No items
No Milestone
Projects
Clear projects
No projects
Assignees
Clear assignees
ddmitry (Dmitry Dementiev)
No Assignees
1 Participants
Notifications
Due Date
No due date set.
Blocks
#45 Спроектировать end-to-end карту ускорения CPU-диаризации
ddmitry/local-transcriber
Depends on
#41 Подготовить стенд и выполнить Intel-этап CPU-эксперимента
ddmitry/local-transcriber
Reference: ddmitry/local-transcriber#42