Пройти слуховую проверку W0 и Sortformer и определить следующий эксперимент #55

New Issue

2026-09-04T22:52:05+03:00

ddmitry commented

2026-09-04 22:52:05 +03:00

Parent

Продолжение #46 и PR #53. Источник данных и ограничений — handoff 2750.

What to build

Владелец самостоятельно проходит подготовленный локальный пакет слуховой проверки в удобное время и сохраняет ответы. Затем агент проверяет их полноту, сопоставляет с исходными расхождениями и публикует обоснованный вывод: продолжать исследование Sortformer, остановить эту ветвь либо какие конкретные вопросы пока не разрешены.

Задача требует слуховой оценки человеком. Агент может анализировать сохранённые результаты, но не отвечает за владельца и не выдаёт автоматические показатели за услышанное качество.

Acceptance criteria

Владелец прослушал обязательные эпизоды и сохранил ответы с версией пакета и идентификаторами вопросов; ответы можно прерывать и продолжать. Пустые ответы не считаются положительными, «не уверен» сохраняется как неопределённость.
Проверено, соответствует ли дополнительный кластер Sortformer отдельному устойчивому голосу или дроблению другого; отдельно оценены короткие ответы, смены говорящего, перекрытия, слова без говорящего и разные назначения A/B.
Слуховые ответы сопоставлены с диагностикой W0: два интервальных кластера и один кластер для всех назначенных слов. Различены ошибка разметки говорящих, ошибка сведения со словами и отсутствие достаточных данных. Найденный дефект описан как отдельная работа, без скрытого исправления внутри оценки.
Названия моделей раскрыты после фиксации ответов. Агент проверил связь ответов с пакетом и дал сводку по категориям, включая неопределённость и непроверенные места. Опорная разметка и сопоставление кластеров по перекрытию не объявлены истинной разметкой голосов.
Приватно сохранены ответы и подробное обоснование. В Gitea опубликованы только безопасные агрегаты, хеши и вывод без текста, аудио, интервалов, имён и приватных путей.
При выводе «продолжать» перечислены условия отдельного следующего эксперимента: качество кандидата принимается независимо от ошибающегося W0; исходные 34,68% остаются диагностикой и не включаются в новую серию; новые пары чередуются, фиксируются медиана и разброс; общесистемный swap не приписывается worker без доказательств. Условия исходного прогона — питание от сети и обычная браузерная активность.
При выводе «остановить» указана подтверждённая причина. При неразрешённых вопросах перечислен минимальный дополнительный материал или ответ, нужный для решения; задача остаётся открытой. Эта проверка трёх фрагментов не объявляется полной приёмкой модели для внедрения.

Границы

Новых запусков ASR/диаризации, скоростных замеров и полных прогонов в этой задаче нет. Production-профиль и ADR-007 не меняются. #46 сохраняет исторический исход stop; родительская задача не переоткрывается. Параллельность ASR и диаризации (#22) и автоматическое включение (#23) остаются отдельной работой.

Blocked by

#54 — готовый и проверенный интерактивный пакет прослушивания.

## Parent Продолжение [#46](https://git.dementev.space/ddmitry/local-transcriber/issues/46) и [PR #53](https://git.dementev.space/ddmitry/local-transcriber/pulls/53). Источник данных и ограничений — [handoff 2750](https://git.dementev.space/ddmitry/local-transcriber/issues/46#issuecomment-2750). ## What to build Владелец самостоятельно проходит подготовленный локальный пакет слуховой проверки в удобное время и сохраняет ответы. Затем агент проверяет их полноту, сопоставляет с исходными расхождениями и публикует обоснованный вывод: продолжать исследование Sortformer, остановить эту ветвь либо какие конкретные вопросы пока не разрешены. Задача требует слуховой оценки человеком. Агент может анализировать сохранённые результаты, но не отвечает за владельца и не выдаёт автоматические показатели за услышанное качество. ## Acceptance criteria - [ ] Владелец прослушал обязательные эпизоды и сохранил ответы с версией пакета и идентификаторами вопросов; ответы можно прерывать и продолжать. Пустые ответы не считаются положительными, «не уверен» сохраняется как неопределённость. - [ ] Проверено, соответствует ли дополнительный кластер Sortformer отдельному устойчивому голосу или дроблению другого; отдельно оценены короткие ответы, смены говорящего, перекрытия, слова без говорящего и разные назначения A/B. - [ ] Слуховые ответы сопоставлены с диагностикой W0: два интервальных кластера и один кластер для всех назначенных слов. Различены ошибка разметки говорящих, ошибка сведения со словами и отсутствие достаточных данных. Найденный дефект описан как отдельная работа, без скрытого исправления внутри оценки. - [ ] Названия моделей раскрыты после фиксации ответов. Агент проверил связь ответов с пакетом и дал сводку по категориям, включая неопределённость и непроверенные места. Опорная разметка и сопоставление кластеров по перекрытию не объявлены истинной разметкой голосов. - [ ] Приватно сохранены ответы и подробное обоснование. В Gitea опубликованы только безопасные агрегаты, хеши и вывод без текста, аудио, интервалов, имён и приватных путей. - [ ] При выводе «продолжать» перечислены условия отдельного следующего эксперимента: качество кандидата принимается независимо от ошибающегося W0; исходные 34,68% остаются диагностикой и не включаются в новую серию; новые пары чередуются, фиксируются медиана и разброс; общесистемный swap не приписывается worker без доказательств. Условия исходного прогона — питание от сети и обычная браузерная активность. - [ ] При выводе «остановить» указана подтверждённая причина. При неразрешённых вопросах перечислен минимальный дополнительный материал или ответ, нужный для решения; задача остаётся открытой. Эта проверка трёх фрагментов не объявляется полной приёмкой модели для внедрения. ## Границы Новых запусков ASR/диаризации, скоростных замеров и полных прогонов в этой задаче нет. Production-профиль и ADR-007 не меняются. #46 сохраняет исторический исход stop; родительская задача не переоткрывается. Параллельность ASR и диаризации (#22) и автоматическое включение (#23) остаются отдельной работой. ## Blocked by [#54](https://git.dementev.space/ddmitry/local-transcriber/issues/54) — готовый и проверенный интерактивный пакет прослушивания.

ddmitry added the ready-for-human label 2026-09-04 22:52:05 +03:00

ddmitry added a new dependency 2026-09-04 22:52:05 +03:00

#54 Подготовить локальный интерактивный пакет слуховой проверки W0 и Sortformer

ddmitry commented

2026-09-21 22:46:40 +03:00

Дополнительный материал для выбора следующего эксперимента (обсуждение с владельцем 2026-09-21).

Коллега уточнил, что хвалил TitaNet small (NVIDIA NeMo, ONNX через sherpa-onnx) и CAM++ (3D-Speaker; CAMPPlus в наших отчётах). Предварительное предположение о Sortformer к этому отзыву не относится.

Что проверял коллега

По его сообщению, на одной встрече TrueConf модели сравнивались в задаче атрибуции по голосовым якорям, полученным с помощью изображения ВКС: подсветка участника связывалась с образцами его голоса. Сообщены доли верных окон 0,968 против 0,932 у WeSpeaker ResNet34, а «без плашки» — 0,92 против 0,86, и ускорение в 1,7–2,3 раза. Это пересказ одного эксперимента: исходный код, точная методика и результаты здесь ещё не проверены; показатели не следует приписывать каждой модели отдельно без уточнения.

В атрибуции attribute_v2/v3 он использует TitaNet small: эмбеддинги окон, центроиды по якорям подсветки, назначение реплик по голосу. Диаризация в его форке осталась прежней: Pyannote Segmentation 3.0 + WeSpeaker ResNet34 + порог 0,89. Замена эмбеддера и калибровка по DER у него пока не реализованы. По его описанию, текущая диаризация на двух записях с двумя говорящими вернула один кластер на 4 минутах и шесть на 36 минутах. Эти случаи у нас не воспроизведены.

Ограничение переноса: классификация по известным голосовым якорям не проверяет самостоятельное определение участников. Даже результат «без плашки» может использовать якоря, ранее полученные из изображения; это нужно уточнить по коду. Коллега сам оговорил, что это не DER и перенос результата на кластеризацию не проверен.

Что уже есть у нас

Отчёт 30 августа: измеряли не только скорость TitaNet, но и число кластеров, слова без говорящего и приблизительную чистоту распределения. Общего рабочего автоматического порога не нашли; DER и новой слуховой проверки не было.
Отчёт 31 августа: CAMPPlus и TitaNet с автоматическим счётчиком NME получили ожидаемые 3 / 2 / 2 кластера. CAMPPlus был быстрее и экономнее; дальнейшая проверка C1 требовала прослушивания мест с двумя дополнительными словами без говорящего. Правильное число кластеров не является полной проверкой качества. Обе модели остаются кандидатами, без решения о внедрении.

Как использовать дальше

Владелец ожидает, что коллега поделится кодом после завершения своих наработок. Вероятна тесная связь с ВКС, но из кода могут быть полезны извлечение эмбеддингов, подготовка окон, способы сравнения голосов и методика оценки.

Когда код будет доступен, сначала разобрать применимость этих частей и зависимость результатов от изображения/якорей. Затем при необходимости сформулировать отдельную ограниченную задачу на проверку применимых частей. Для нашего обычного сценария оценивать качество по аудио, без визуальных якорей и без ручного задания числа говорящих. Скорость и память учитывать вместе с качеством; отзыв не является основанием автоматически менять модель по умолчанию или переносить весь сценарий ВКС.

Сейчас достаточно этого комментария: отдельную задачу на интеграцию до получения кода не создаём. Ожидание кода не блокирует #54 → #55 и не расширяет их объём: здесь по-прежнему нет новых прогонов моделей. Большой архитектурный рефакторинг экспериментальной диаризации отложен до результатов оценки и понимания того, какие реализации остаются нужны.

Дополнительный материал для выбора следующего эксперимента (обсуждение с владельцем 2026-09-21). Коллега уточнил, что хвалил **TitaNet small (NVIDIA NeMo, ONNX через sherpa-onnx)** и **CAM++ (3D-Speaker; CAMPPlus в наших отчётах)**. Предварительное предположение о Sortformer к этому отзыву не относится. ### Что проверял коллега По его сообщению, на одной встрече TrueConf модели сравнивались в задаче атрибуции по голосовым якорям, полученным с помощью изображения ВКС: подсветка участника связывалась с образцами его голоса. Сообщены доли верных окон 0,968 против 0,932 у WeSpeaker ResNet34, а «без плашки» — 0,92 против 0,86, и ускорение в 1,7–2,3 раза. Это пересказ одного эксперимента: исходный код, точная методика и результаты здесь ещё не проверены; показатели не следует приписывать каждой модели отдельно без уточнения. В атрибуции `attribute_v2/v3` он использует TitaNet small: эмбеддинги окон, центроиды по якорям подсветки, назначение реплик по голосу. Диаризация в его форке осталась прежней: Pyannote Segmentation 3.0 + WeSpeaker ResNet34 + порог 0,89. Замена эмбеддера и калибровка по DER у него пока не реализованы. По его описанию, текущая диаризация на двух записях с двумя говорящими вернула один кластер на 4 минутах и шесть на 36 минутах. Эти случаи у нас не воспроизведены. Ограничение переноса: классификация по известным голосовым якорям не проверяет самостоятельное определение участников. Даже результат «без плашки» может использовать якоря, ранее полученные из изображения; это нужно уточнить по коду. Коллега сам оговорил, что это не DER и перенос результата на кластеризацию не проверен. ### Что уже есть у нас - [Отчёт 30 августа](https://git.dementev.space/ddmitry/local-transcriber/src/commit/2b54f5bc9ea71ea5056cb32534330e0295c51f9b/docs/benchmarks/2026-08-30-lightweight-diarization-cpu.md): измеряли не только скорость TitaNet, но и число кластеров, слова без говорящего и приблизительную чистоту распределения. Общего рабочего автоматического порога не нашли; DER и новой слуховой проверки не было. - [Отчёт 31 августа](https://git.dementev.space/ddmitry/local-transcriber/src/commit/2b54f5bc9ea71ea5056cb32534330e0295c51f9b/docs/benchmarks/2026-08-31-cpu-diarization-ryzen.md): CAMPPlus и TitaNet с автоматическим счётчиком NME получили ожидаемые 3 / 2 / 2 кластера. CAMPPlus был быстрее и экономнее; дальнейшая проверка C1 требовала прослушивания мест с двумя дополнительными словами без говорящего. Правильное число кластеров не является полной проверкой качества. Обе модели остаются кандидатами, без решения о внедрении. ### Как использовать дальше Владелец ожидает, что коллега поделится кодом после завершения своих наработок. Вероятна тесная связь с ВКС, но из кода могут быть полезны извлечение эмбеддингов, подготовка окон, способы сравнения голосов и методика оценки. Когда код будет доступен, сначала разобрать применимость этих частей и зависимость результатов от изображения/якорей. Затем при необходимости сформулировать отдельную ограниченную задачу на проверку применимых частей. Для нашего обычного сценария оценивать качество по аудио, без визуальных якорей и без ручного задания числа говорящих. Скорость и память учитывать вместе с качеством; отзыв не является основанием автоматически менять модель по умолчанию или переносить весь сценарий ВКС. Сейчас достаточно этого комментария: отдельную задачу на интеграцию до получения кода не создаём. Ожидание кода не блокирует #54 → #55 и не расширяет их объём: здесь по-прежнему нет новых прогонов моделей. Большой архитектурный рефакторинг экспериментальной диаризации отложен до результатов оценки и понимания того, какие реализации остаются нужны.

Sign in to join this conversation.

1 Participants

Notifications

Due Date

No due date set.

Depends on

#54 Подготовить локальный интерактивный пакет слуховой проверки W0 и Sortformer

ddmitry/local-transcriber

Reference: ddmitry/local-transcriber#55