Files

T

Dmitriy DementievandClaude Opus 5 1cb6a36c92 chore(diarization): добавлена обвязка замеров в .scratch

- Зачем:
  - тикеты карты #10-#13 опираются на измерительную обвязку, которая до сих пор
    жила во временном каталоге сессии и исчезла бы вместе с ним.
- Что:
  - перенесены четыре скрипта разведки: ASR, один прогон диаризации, свип порога
    кластеризации и подсчёт чистоты ASR-сегментов.
  - общая часть вынесена в common.py: пути от корня репозитория вместо
    захардкоженных, конфигурация диаризатора, проверка наличия моделей.
  - починен замер пиковой памяти: нужен экспорт K32GetProcessMemoryInfo из
    kernel32 и явные argtypes, иначе дескриптор процесса уезжает 32-битным.
  - модели и выход замеров исключены из истории локальным .gitignore.
- Проверка:
  - export PYTHONIOENCODING=utf-8
  - uv run --with sherpa-onnx python .scratch/diarization/bench_diar.py "<запись>" 8 0.9

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>

2026-08-12 15:35:20 +03:00

4.1 KiB

Raw Blame History

Обвязка замеров диаризации

Исследовательские скрипты для карты Карта: диаризация спикеров в транскрипте (#8). Не часть пакета: они опираются на sherpa-onnx, которого нет в зависимостях проекта, и живут в .scratch/, а не в src/.

Результаты первого прогона описаны в разведочном замере.

Модели

Скачиваются один раз в models/, в git не попадают (см. .gitignore рядом).

mkdir -p models && cd models
curl -sSL -O https://github.com/k2-fsa/sherpa-onnx/releases/download/speaker-segmentation-models/sherpa-onnx-pyannote-segmentation-3-0.tar.bz2
tar xjf sherpa-onnx-pyannote-segmentation-3-0.tar.bz2
curl -sSL -O https://github.com/k2-fsa/sherpa-onnx/releases/download/speaker-recongition-models/wespeaker_en_voxceleb_resnet34_LM.onnx

Сегментация — 6,9 МБ, эмбеддинги — 26,5 МБ. Опечатка recongition в URL относится к самому релизу sherpa-onnx, это не ошибка набора.

Скрипты

Скрипт	Что делает	Тикеты
`bench_asr.py`	ASR тем же путём, что CLI: время, RTF, память	#13
`bench_diar.py`	один прогон диаризации, сохраняет разметку в `segments-<порог>.tsv`	#12, #13
`bench_sweep.py`	свип порога кластеризации и явного числа говорящих	#10
`bench_conflict.py`	доля ASR-сегментов, внутри которых меняется говорящий	#11
`common.py`	пути, конфигурация диаризатора, замер памяти	—

Запуск

Из корня репозитория. PYTHONIOENCODING=utf-8 нужен, иначе вывод падает на консоли cp1251.

export PYTHONIOENCODING=utf-8

uv run python .scratch/diarization/bench_asr.py "<путь к записи>"
uv run --with sherpa-onnx python .scratch/diarization/bench_diar.py "<путь>" 8 0.9
uv run --with sherpa-onnx python .scratch/diarization/bench_sweep.py "<путь>"
uv run --with sherpa-onnx python .scratch/diarization/bench_conflict.py "<путь>"

Что стоит знать до запуска

Порог кластеризации не откалиброван. По умолчанию стоит 0,9 — значение из разведки, подобранное на одной записи и на ней же проверенное. На пороге 0,5 из примеров sherpa-onnx получалось 29 говорящих вместо трёх. Калибровка — это тикет #10, до его закрытия любое значение считается временным.
Свип дорогой. Каждая конфигурация — полный прогон сегментации и эмбеддингов, около 2,5 минут на 26-минутную запись, и время от настроек кластеризации практически не зависит. Свип вести на коротком фрагменте.
Чистота сегментов меряется относительно диаризации. Если её границы систематически смещены, метрика измеряет не то, что кажется. Проверка границ на слух — тикет #12, и он намеренно идёт до калибровки.
Замер памяти чинился. В разведке psapi.GetProcessMemoryInfo молча возвращал ноль; common.peak_rss_mb() теперь зовёт K32GetProcessMemoryInfo из kernel32 и проверяет код возврата.

4.1 KiB Raw Blame History Unescape Escape