ddmitry/local-transcriber
1
0
Fork 0
Code Issues 6 Pull Requests Actions Packages Projects Releases Wiki Activity

Проверить границы диаризации на слух #12

New Issue
Closed
opened 2026-08-12 15:05:33 +03:00 by ddmitry · 1 comment
ddmitry commented 2026-08-12 15:05:33 +03:00
Owner
Copy Link
Copy Source

Часть карты: Карта: диаризация спикеров в транскрипте (#8)

Question

Правильны ли интервалы диаризации, а не только число говорящих?

В разведке совпало количество: три кластера против трёх участников по MoM.
Косвенное подтверждение дали тире, которые gigaam-v3-e2e сама ставит на смене
реплики. Но правильность самих границ — кто именно говорит в каждом интервале —
не проверялась ничем.

Это важно, потому что все выводы о чистоте сегментов опираются на диаризацию как
на опорную разметку. Если границы систематически смещены, доля загрязнённых
сегментов измеряет не то, что мы думаем.

Тикет намеренно идёт до калибровки. Калибровка подбирает порог по совпадению
числа говорящих — слабый критерий, который ничего не говорит о границах. Зная
характерные ошибки заранее, калибровать осмысленнее. Обратная связь возможна:
если здесь найдётся систематический сдвиг, критерий калибровки придётся менять.

Подготовка. Разметка, сохранённая при разведке, сделана на пороге 0,5 и
негодна — там 29 говорящих на трёх участников. Нужен один прогон на пороге 0,9
(около 2,5 минут на 26-минутной записи), его разметку и слушать.

Требует участия человека. Прослушать хотя бы один фрагмент минут на пять и
сверить с разметкой:

  • совпадают ли моменты смены говорящего;
  • не приписаны ли реплики одного участника другому целиком;
  • что происходит на перекрывающейся речи, когда двое говорят одновременно;
  • корректно ли обрабатываются короткие вставки вроде «угу» и «согласен».

Ответ — оценка пригодности диаризации как опорной разметки и список
систематических ошибок, если они найдутся.

Часть карты: [Карта: диаризация спикеров в транскрипте](https://git.dementev.space/ddmitry/local-transcriber/issues/8) (#8) ## Question Правильны ли интервалы диаризации, а не только число говорящих? В разведке совпало количество: три кластера против трёх участников по MoM. Косвенное подтверждение дали тире, которые `gigaam-v3-e2e` сама ставит на смене реплики. Но правильность самих границ — кто именно говорит в каждом интервале — не проверялась ничем. Это важно, потому что все выводы о чистоте сегментов опираются на диаризацию как на опорную разметку. Если границы систематически смещены, доля загрязнённых сегментов измеряет не то, что мы думаем. **Тикет намеренно идёт до калибровки.** Калибровка подбирает порог по совпадению *числа* говорящих — слабый критерий, который ничего не говорит о границах. Зная характерные ошибки заранее, калибровать осмысленнее. Обратная связь возможна: если здесь найдётся систематический сдвиг, критерий калибровки придётся менять. **Подготовка.** Разметка, сохранённая при разведке, сделана на пороге 0,5 и негодна — там 29 говорящих на трёх участников. Нужен один прогон на пороге 0,9 (около 2,5 минут на 26-минутной записи), его разметку и слушать. **Требует участия человека.** Прослушать хотя бы один фрагмент минут на пять и сверить с разметкой: - совпадают ли моменты смены говорящего; - не приписаны ли реплики одного участника другому целиком; - что происходит на перекрывающейся речи, когда двое говорят одновременно; - корректно ли обрабатываются короткие вставки вроде «угу» и «согласен». Ответ — оценка пригодности диаризации как опорной разметки и список систематических ошибок, если они найдутся.
ddmitry added the wayfinder:task label 2026-08-12 15:05:33 +03:00
ddmitry self-assigned this 2026-08-12 17:09:35 +03:00
ddmitry commented 2026-08-12 17:48:26 +03:00
Author
Owner
Copy Link
Copy Source

Решение

Диаризация на пороге 0,9 пригодна как опорная разметка для грубой оценки смешения голосов и смен говорящего, но не как эталонная разметка точных границ или перекрывающейся речи.

Проверка

Выполнен полный прогон 26-минутной записи: 340 интервалов, три содержательных кластера и короткий остаточный кластер. Человек прослушал фрагмент 07:00–12:00 с плотным диалогом и сверил его с временной шкалой.

Наблюдения:

  • spk1, spk2 и spk3 в целом соответствуют устойчивым голосам, разметка выглядит более-менее корректно;
  • spk0 — ложный остаточный кластер: почти полностью пустой, местами захватывает фрагменты spk1; отдельным участником его считать нельзя;
  • для spk2 встречаются небольшие пропуски;
  • при плотной перемежающейся и одновременной речи фактическое перекрытие не всегда отражено на шкале полностью.

Последствия

Вывод разведки о непригодности мажоритарной привязки на весь ASR-сегмент подтверждается: на слух в сегментах действительно перемешаны голоса. Однако точное значение 27% нельзя использовать как эталонную метрику качества границ — опорная разметка сама содержит пропуски и ошибки на перекрытиях.

Калибровка должна оценивать не только число кластеров. Для финальных кандидатов нужны слуховая проверка плотного диалога, устойчивость соответствия «голос → кластер», пропуски, остаточные кластеры и перекрывающаяся речь. Порог 0,9 остаётся кандидатом, а не принятым значением по умолчанию.

## Решение Диаризация на пороге 0,9 **пригодна как опорная разметка для грубой оценки смешения голосов и смен говорящего**, но не как эталонная разметка точных границ или перекрывающейся речи. ## Проверка Выполнен полный прогон 26-минутной записи: 340 интервалов, три содержательных кластера и короткий остаточный кластер. Человек прослушал фрагмент 07:00–12:00 с плотным диалогом и сверил его с временной шкалой. Наблюдения: - `spk1`, `spk2` и `spk3` в целом соответствуют устойчивым голосам, разметка выглядит более-менее корректно; - `spk0` — ложный остаточный кластер: почти полностью пустой, местами захватывает фрагменты `spk1`; отдельным участником его считать нельзя; - для `spk2` встречаются небольшие пропуски; - при плотной перемежающейся и одновременной речи фактическое перекрытие не всегда отражено на шкале полностью. ## Последствия Вывод разведки о непригодности мажоритарной привязки на весь ASR-сегмент подтверждается: на слух в сегментах действительно перемешаны голоса. Однако точное значение 27% нельзя использовать как эталонную метрику качества границ — опорная разметка сама содержит пропуски и ошибки на перекрытиях. Калибровка должна оценивать не только число кластеров. Для финальных кандидатов нужны слуховая проверка плотного диалога, устойчивость соответствия «голос → кластер», пропуски, остаточные кластеры и перекрывающаяся речь. Порог 0,9 остаётся кандидатом, а не принятым значением по умолчанию.
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels
needs-info
Ожидает дополнительной информации от автора
 needs-triage
Требует оценки сопровождающим
 ready-for-agent
Полностью описана и готова для автономного агента
 ready-for-human
Требует реализации человеком
 wayfinder:grilling
Тикет карты: решение через разговор по одному вопросу (HITL)
 wayfinder:map
Карта wayfinder: индекс решений и точка входа
 wayfinder:prototype
Тикет карты: дешёвый черновик, чтобы было на что реагировать (HITL)
 wayfinder:research
Тикет карты: чтение источников, итог — markdown-сводка (AFK)
 wayfinder:task
Тикет карты: ручная работа, разблокирующая решение
 wontfix
Выполняться не будет
No labels wayfinder:task
Milestone
No items
No Milestone
Projects
Clear projects
No projects
Assignees
Clear assignees
ddmitry (Dmitry Dementiev)
No Assignees ddmitry
1 Participants
Notifications
Due Date
No due date set.
Blocks
#14 Выбрать единицу привязки спикера к тексту
ddmitry/local-transcriber
Reference: ddmitry/local-transcriber#12