Карта: диаризация спикеров в транскрипте #8
Assignees
ddmitry (Dmitry Dementiev)
Clear assignees
ddmitry (Dmitry Dementiev)
No Assignees
Notifications
Due Date
No due date set.
Dependencies
No dependencies set.
Reference: ddmitry/local-transcriber#8
Reference in New Issue
Block a user
Destination
Принятый ADR по диаризации и спека, по которым можно писать код: закрыты движок,
единица привязки спикера к тексту, калибровка кластеризации, формат вывода, UX и
поведение на OpenVINO-пути. Реализация лежит за границей карты и заводится
отдельно.
Notes
Домен:
local-transcriber— локальная транскрипция аудио и видео, безоблака и ключей. Язык документации, комментариев и сообщений коммитов — русский,
идентификаторы кода — английские.
Что прочитать перед работой над любым тикетом:
CONTEXT.md— каноническая терминология;docs/benchmarks/2026-08-12-diarization-feasibility.md— разведочный замер,с которого началась карта;
docs/adr/006-onnx-asr-backend.md— почему ONNX-путь стал дефолтным и какаяпланка доказательности принята в проекте (три записи, независимая оценка);
docs/agents/issue-tracker.md— как устроены операции карты в этом трекере.Навыки:
/grillingи/domain-modelingпо умолчанию,/researchдляresearch-тикетов,
/prototypeдля prototype-тикетов,/brainstorm-with-docsпри сведении решений в ADR и спеку.Стандарты этой карты:
как в ADR-006;
слабом Intel baseline — Core i7-6820HQ. Конкретный Core i5 11-го поколения
остаётся непроверенным, потому что такого устройства нет;
CONTEXT.md, а не копятся.Decisions so far
Куда движутся ONNX Runtime и OpenVINO: сравнение жизненного цикла — ORT CPU остаётся переносимым baseline; Intel-путь устойчивее через нативный OpenVINO, а WinML/MIGraphX/CoreML/WebGPU требуют model-specific offload и golden tests.
Проверить границы диаризации на слух — разметка пригодна для грубой оценки смешения, но не как эталон границ: есть ложный остаточный кластер, редкие пропуски и неполные перекрытия.
Калибровка диаризации: порог кластеризации и модель эмбеддингов на русской речи — дефолт: WeSpeaker ResNet34 LM + порог 0,89; явное число участников — страховка, CAMPPlus zh/en оставлен кандидатом только для режима с известным числом спикеров.
Чистота ASR-сегментов: подтвердить долю загрязнённых на трёх записях — смешение воспроизводится на разговорах на двоих, но реже: 6–7% сегментов и 12–17% времени против 27% и 51% на встрече втроём.
Производительность диаризации на целевом Intel Core i5 — на доступном Core i7-6820HQ с урезанным питанием последовательная обработка часа занимает около 23 минут; стоимость приемлема для явной опциональной функции, конкретный i5 не проверен.
Выбрать единицу привязки спикера к тексту — диаризацию делаем как opt-in-функцию; говорящий назначается слову с временной привязкой, а независимые проходы ASR и диаризации сводятся после завершения обоих.
Формат транскрипта со спикерами — линейные реплики
[MM:SS] Speaker N: текст; таймкод только в начале и до секунд, смена говорящего ломает абзац, малые кластеры сохраняются с предупреждением.• Модели диаризации в батч-режиме: время жизни и память — один batch-owned объект создаётся после prescan, последовательно переиспользуется для всех файлов и освобождается при завершении команды; условной выгрузки нет.
• Нужен ли кеш результата диаризации — постоянного кеша нет: разметка говорящих живёт только в текущем прогоне, итоговый артефакт — Markdown;
--forceпересчитывает всё,--verboseне создаёт диагностических файлов.• Параллельный запуск ASR и диаризации: политика и бюджет CPU — первая реализация последовательна: ASR → диаризация → сведение → Markdown;
--threadsцеликом применяется к каждому активному CPU-проходу. Параллельность отложена до стабилизации в отдельную задачу с порогом выигрыша 20%.• UX диаризации: флаг, число участников, зависимость и поведение на OpenVINO — первая версия включается через
--diarize/--speakers N,sherpa-onnxставится обязательно, модели скачиваются лениво; все backend должны отдавать слова с временной привязкой. Ошибки конкретного файла сохраняют обычный Markdown с явным предупреждением; hardware-aware default отложен в #23.Not yet specified
Out of scope
DirectML или OpenVINO EP вместо OpenVINO GenAI. Отдельная работа: она зависит
от того, что покажет research о жизненном цикле движков, требует замеров на
Intel-железе и переоценки всех профилей. В этой карте остаётся только узкое
решение о поведении диаризации на
--device openvino-*.Speaker Nс именами участников. Бэклог сознательно держитэто вне ядра CLI: работа поверх готового транскрипта, максимум рецепт в README.
Задача «Калибровка диаризации: порог кластеризации и модель эмбеддингов на русской речи» закрыта. Решение зафиксировано в
Decisions so far: автоматический дефолт — WeSpeaker ResNet34 LM с порогом 0,89; явное число участников используется как страховка.Артефакты закрытой задачи №10 опубликованы в draft PR #18. PR охватывает текущий материал карты и остаётся черновиком, пока карта №8 открыта.