Собрать минимальную матрицу следующего CPU-эксперимента #34

Closed
opened 2026-08-30 13:28:49 +03:00 by ddmitry · 2 comments
Owner

Часть карты: Спроектировать следующее ускорение CPU-диаризации (#31)

Question

Какой минимальный набор вариантов и контрольных точек даст решение о следующем профиле после ответов про шаг окна, оценку числа говорящих, embedding-инференс и аппаратные границы? Нужно выбрать сочетания, порядок дешевых и дорогих прогонов, старый и современный CPU, счетчики работы, метрики качества, число повторов, режим питания и температуры, бюджет RSS и stop/go-критерии. Результат - готовая постановка отдельной задачи на эксперимент, без самого полного прогона и без production-изменений.

Часть карты: [Спроектировать следующее ускорение CPU-диаризации](https://git.dementev.space/ddmitry/local-transcriber/issues/31) (#31) ## Question Какой минимальный набор вариантов и контрольных точек даст решение о следующем профиле после ответов про шаг окна, оценку числа говорящих, embedding-инференс и аппаратные границы? Нужно выбрать сочетания, порядок дешевых и дорогих прогонов, старый и современный CPU, счетчики работы, метрики качества, число повторов, режим питания и температуры, бюджет RSS и stop/go-критерии. Результат - готовая постановка отдельной задачи на эксперимент, без самого полного прогона и без production-изменений.
ddmitry added the wayfinder:grilling label 2026-08-30 13:28:49 +03:00
ddmitry self-assigned this 2026-08-30 23:27:45 +03:00
Author
Owner

Решение: следующий CPU-эксперимент идет ступенчатой воронкой, которая отсеивает явные проигрыши без полного декартова перебора и без дополнительных прогонов ради малой точности.

  • совпадающий baseline: sherpa-onnx 1.13.6, Pyannote FP32, WeSpeaker FP32, window_shift_ratio=0.1;
  • первичный отсев: по одному прогону трех фрагментов на Intel, отдельные ISA-чувствительные A/B на Ryzen;
  • комбинации: не больше трех на Intel и двух на Ryzen;
  • пять A/B-циклов получают только максимум два финалиста;
  • go: минимум 30% сокращения времени диаризации на Ryzen при выполнении условий качества; около 2x остается ориентиром;
  • регрессия на Intel от 10% не отбрасывает вариант автоматически, а возвращает needs-decision;
  • QDQ использует калибровочный материал из других исходных записей; память, приватность и воспроизводимость проверяются явно.

Спецификация: docs/specs/2026-08-30-cpu-diarization-experiment.md в PR #40.

Отдельная исполнимая задача: #41.

Решение: следующий CPU-эксперимент идет ступенчатой воронкой, которая отсеивает явные проигрыши без полного декартова перебора и без дополнительных прогонов ради малой точности. - совпадающий baseline: sherpa-onnx 1.13.6, Pyannote FP32, WeSpeaker FP32, `window_shift_ratio=0.1`; - первичный отсев: по одному прогону трех фрагментов на Intel, отдельные ISA-чувствительные A/B на Ryzen; - комбинации: не больше трех на Intel и двух на Ryzen; - пять A/B-циклов получают только максимум два финалиста; - `go`: минимум 30% сокращения времени диаризации на Ryzen при выполнении условий качества; около 2x остается ориентиром; - регрессия на Intel от 10% не отбрасывает вариант автоматически, а возвращает `needs-decision`; - QDQ использует калибровочный материал из других исходных записей; память, приватность и воспроизводимость проверяются явно. Спецификация: `docs/specs/2026-08-30-cpu-diarization-experiment.md` в PR #40. Отдельная исполнимая задача: #41.
Author
Owner

Уточнение после проверки исполнимости на двух ноутбуках: полный эксперимент разделен на Intel-задачу #41 и зависимую Ryzen-задачу #42. #41 реализует стенд, выполняет этапы 0-4 и публикует проверяемый HANDOFF READY; пользователь переносит приватную ZIP-капсулу, сливает Intel-PR обычным merge и закрывает #41. После этого Gitea разблокирует #42, которая выполняет этапы 5-6 и завершает решение без штатного возврата на Intel. Спецификация обновлена в PR #40, commit 558c1ba.

Уточнение после проверки исполнимости на двух ноутбуках: полный эксперимент разделен на Intel-задачу #41 и зависимую Ryzen-задачу #42. #41 реализует стенд, выполняет этапы 0-4 и публикует проверяемый `HANDOFF READY`; пользователь переносит приватную ZIP-капсулу, сливает Intel-PR обычным merge и закрывает #41. После этого Gitea разблокирует #42, которая выполняет этапы 5-6 и завершает решение без штатного возврата на Intel. Спецификация обновлена в PR #40, commit `558c1ba`.
Sign in to join this conversation.
1 Participants
Notifications
Due Date
No due date set.
Reference: ddmitry/local-transcriber#34