feat(onnx): добавлена модель GigaAM Multilingual Large
- Зачем: - расширенный benchmark показал устойчивое улучшение multilingual large на трёх реальных записях. - Что: - добавлен alias gigaam-multilingual-large-ctc с квантизациями int8 и float32. - обновлены README, спецификация, backlog и сравнительный benchmark. - Проверка: - uv run pytest -q: 225 passed, 1 skipped. - uvx ruff check src/local_transcriber/backends/onnx_asr.py tests/test_onnx_asr.py.
This commit is contained in:
@@ -5,6 +5,7 @@
|
||||
**Статус:** завершённый benchmark на трёх записях
|
||||
|
||||
**Машина:** AMD Ryzen 7 8845H, Windows, CPU
|
||||
|
||||
**Квантизация ONNX:** int8
|
||||
|
||||
## Цель
|
||||
@@ -40,6 +41,7 @@
|
||||
| OpenVINO medium | 190,6 с | 4,67× | **23,9%** | 187 |
|
||||
| GigaAM v3 | **72,6 с** | **12,27×** | 26,5% | 0 |
|
||||
| GigaAM Multilingual CTC | 84,8 с | 10,51× | 27,9% | 0 |
|
||||
| GigaAM Multilingual Large CTC | 192,0 с | 4,64× | 27,5% | 0 |
|
||||
| GigaAM v3 E2E RNN-T | 76,1 с | 11,71× | 29,0% | 326 |
|
||||
| GigaAM v3 E2E CTC | **72,6 с** | **12,27×** | 31,8% | 338 |
|
||||
|
||||
@@ -55,11 +57,13 @@ cached-прогон для точного замера.
|
||||
|---|---|---:|---:|---:|
|
||||
| RSQM | GigaAM v3 | 75,1 с | 11,25× | **23,1%** |
|
||||
| RSQM | Multilingual CTC | 82,7 с | 10,21× | 24,4% |
|
||||
| RSQM | Multilingual Large CTC | 163,4 с | 5,17× | 23,8% |
|
||||
| RSQM | E2E RNN-T | 72,8 с | 11,60× | 25,4% |
|
||||
| RSQM | E2E CTC | **71,1 с** | **11,88×** | 28,0% |
|
||||
| RSQM | FasterWhisper medium | 686,1 с | 1,23× | **19,7%** |
|
||||
| DataCat | GigaAM v3 | **74,8 с** | **11,79×** | 27,5% |
|
||||
| DataCat | Multilingual CTC | 94,2 с | 9,36× | 27,9% |
|
||||
| DataCat | Multilingual Large CTC | 189,6 с | 4,65× | 26,7% |
|
||||
| DataCat | E2E RNN-T | 78,0 с | 11,31× | **26,4%** |
|
||||
| DataCat | E2E CTC | 76,0 с | 11,60× | 28,3% |
|
||||
| DataCat | FasterWhisper medium | 954,5 с | 0,92× | **21,9%** |
|
||||
@@ -77,6 +81,7 @@ WER ниже посчитан как micro-average: сумма ошибок по
|
||||
|---|---:|---:|---:|---:|
|
||||
| FasterWhisper medium CPU | 2511,6 с* | 1,04× | **20,9%** | 269 |
|
||||
| GigaAM v3 | 222,5 с | 11,76× | **26,0%** | 0 |
|
||||
| GigaAM Multilingual Large CTC | 545,0 с | 4,80× | **26,2%** | 0 |
|
||||
| GigaAM v3 E2E RNN-T | 226,9 с | 11,54× | 26,9% | 290 |
|
||||
| GigaAM Multilingual CTC | 261,7 с | 10,00× | 26,9% | 0 |
|
||||
| GigaAM v3 E2E CTC | **219,7 с** | **11,91×** | 29,3% | 305 |
|
||||
@@ -86,8 +91,10 @@ FasterWhisper включал ещё около 263 секунд загрузки
|
||||
прогретом кеше — 686,1 и 954,5 секунды соответственно.
|
||||
|
||||
RNN-T оказалась лишь на 2% медленнее обычного GigaAM по суммарному времени.
|
||||
Multilingual медленнее обычного GigaAM на 18%, а выигрыш E2E CTC относительно
|
||||
RNN-T составляет только 3% и не компенсирует ухудшение текста.
|
||||
Multilingual Small медленнее обычного GigaAM на 18%, а выигрыш E2E CTC
|
||||
относительно RNN-T составляет только 3% и не компенсирует ухудшение текста.
|
||||
Multilingual Large в 2,08 раза медленнее Small и в 2,45 раза медленнее обычного
|
||||
GigaAM, но всё ещё в 4,6 раза быстрее FasterWhisper.
|
||||
|
||||
## Качественное чтение
|
||||
|
||||
@@ -109,6 +116,10 @@ RNN-T составляет только 3% и не компенсирует ух
|
||||
`иnженter`, `мetднные`, `оrкl`, `линейдgами`.
|
||||
- Multilingual CTC не улучшила даже терминологически насыщенный DataCat и
|
||||
оказалась на 15–26% медленнее обычного GigaAM на новых записях.
|
||||
- Multilingual Large CTC улучшила Small на всех трёх записях и почти сравнялась
|
||||
с monolingual GigaAM по совокупному WER: 26,2% против 26,0%. При ручном
|
||||
чтении скрытой деградации не найдено, но пунктуации по-прежнему нет, а термины
|
||||
передаются преимущественно фонетически (`файнбиай`, `найфай`, `терадата`).
|
||||
|
||||
Длинных автономных галлюцинаций не найдено. Есть локальные потенциально
|
||||
опасные искажения имён и терминов: `Иришка`, `Lutriness`, «расчёт
|
||||
@@ -131,8 +142,11 @@ FasterWhisper лучше сохраняет `API`, `ETL`, `Open Platform`; об
|
||||
- Для последующей машинной обработки, поиска или собственной расстановки
|
||||
пунктуации — `gigaam-v3`: лучший совокупный WER среди быстрых ONNX-вариантов
|
||||
и более стабильный сырой текст.
|
||||
- `gigaam-v3-e2e-ctc` и `gigaam-multilingual-ctc` на этой записи преимуществ
|
||||
не показали.
|
||||
- Для смешанной речи с приоритетом качества сырого текста —
|
||||
`gigaam-multilingual-large-ctc`. Она устойчиво лучше Small и почти равна
|
||||
monolingual GigaAM по WER, но требует 545 секунд против 262 секунд на том же
|
||||
наборе. Small остаётся вариантом с приоритетом скорости.
|
||||
- `gigaam-v3-e2e-ctc` преимуществ на этом наборе не показала.
|
||||
- FasterWhisper medium остаётся выбором для важных записей с плотной
|
||||
терминологией, если допустима обработка около realtime. По трём файлам она в
|
||||
11 раз медленнее GigaAM ради снижения WER примерно на 5–6 процентных пунктов.
|
||||
|
||||
Reference in New Issue
Block a user