feat(diarization): добавлена проверка переносимого бенчмарка
- Зачем: - новый агент должен проверить приватный набор до дорогого CPU-прогона. - Что: - добавлены режим validate-only, относительные пути и ранняя проверка зависимостей. - описано воспроизведение; временные handoff исключены из Git. - Проверка: - .venv/bin/pytest -q: 334 passed, 2 skipped. - ruff check, ruff format --check и git diff --check: успешно.
This commit is contained in:
1 parent
1e14f2687a
commit
5b5fd535d6
5 files changed
+268
-19
No files matched your search
@@ -74,6 +74,41 @@ WeSpeaker/TitaNet на трёх пятиминутных русскоязычн
|
||||
Во всех 108 ячейках совпала последовательность 1853 распознанных слов после
|
||||
удаления Unicode-пробелов. Инвариантность текста не нарушена.
|
||||
|
||||
## Воспроизведение
|
||||
|
||||
Стенд [`diarization_calibration.py`](../../scripts/benchmarks/diarization_calibration.py)
|
||||
закрепляет корпус и матрицу задачи #25. Файл manifest, ASR-sidecar, интервалы и
|
||||
полный результат содержат приватные данные и хранятся отдельно от Git.
|
||||
Относительные пути в manifest считаются от каталога самого файла, поэтому
|
||||
приватный набор можно перенести на другую машину целиком. Готовый файл результата
|
||||
при этом не переносится: продолжение допустимо только на той же платформе, CPU и
|
||||
том же числе логических ядер.
|
||||
|
||||
Перед дорогим запуском нужно проверить набор без декодирования и моделей:
|
||||
|
||||
```bash
|
||||
uv run python scripts/benchmarks/diarization_calibration.py \
|
||||
--manifest /path/to/manifest.json \
|
||||
--validate-only
|
||||
```
|
||||
|
||||
Полный запуск и его продолжение используют одну команду и один файл результата:
|
||||
|
||||
```bash
|
||||
uv run python scripts/benchmarks/diarization_calibration.py \
|
||||
--manifest /path/to/manifest.json \
|
||||
--output /path/to/results.json \
|
||||
--work-dir /path/to/work
|
||||
```
|
||||
|
||||
Совместимый файл продолжится с первой незавершенной ячейки. Код возврата 0
|
||||
означает, что завершены все автоматические ячейки и ячейки с известным числом
|
||||
говорящих. Число кластеров и инвариантность текста нужно сверить с условиями
|
||||
конкретного исследования. Полный контракт аргументов и режим подготовки
|
||||
ASR-sidecar описаны в `--help`. Результат включает исходный manifest,
|
||||
приватные пути и интервалы. Поэтому его нельзя добавлять в Git или передавать
|
||||
внешнему ревьюеру.
|
||||
|
||||
## Оборудование и условия
|
||||
|
||||
- Intel Core i7-6820HQ, 4 ядра / 8 логических процессоров;
|
||||
|
||||
Reference in new issue
Block a user