Обновление OpenVINO до 2026.3, large-v3-turbo и ONNX по умолчанию #6

Merged
ddmitry merged 9 commits from feature/4-openvino-2026-3 into master 2026-08-12 12:43:46 +03:00
Showing only changes of commit 12e17020bf - Show all commits
@@ -2,7 +2,7 @@
**Дата:** 2026-08-12 **Дата:** 2026-08-12
**Статус:** завершённое сравнение на трёх русскоязычных встречах **Статус:** завершённое сравнение на трёх русскоязычных встречах и двух CPU
## Цель ## Цель
@@ -168,6 +168,160 @@ FineBI» вместо учётной записи, `NiFi` как `I5`, `edge cas
проверяющие не нашли. Общий недостаток всех профилей — отсутствие надёжного проверяющие не нашли. Общий недостаток всех профилей — отсутствие надёжного
разделения по участникам, что ограничивает пригодность для формального протокола. разделения по участникам, что ограничивает пригодность для формального протокола.
## Повторный прогон на AMD Ryzen 7 8845H
Повторный прогон выполнен на втором ноутбуке тем же коммитом, на тех же шести
файлах и с теми же параметрами. Размеры и SHA-256 всех файлов совпали с
манифестом. Результаты Intel выше не перезаписывались.
### Оборудование и условия
- ноутбук Lenovo 83D5;
- AMD Ryzen 7 8845H, 8 ядер / 16 логических процессоров;
- 32 ГиБ LPDDR5X, четыре чипа Micron, фактическая скорость 6400 MT/s;
- Windows 11 Корпоративная, сборка 26200;
- схема питания «Сбалансированная»;
- OpenVINO 2026.3.0, OpenVINO GenAI и Tokenizers 2026.3.0.0;
- Python 3.13.13;
- язык во всех командах задан явно: `--language ru`;
- кэш каждой модели предварительно прогрет, скачивание не включено во время;
- загрузка CPU и свободная память опрашивались раз в две секунды.
Во время всех прогонов ноутбук оставался пригодным для интерактивной работы.
Минимум свободной памяти ниже, чем на Intel, из-за 32 ГиБ физической памяти и
фоновой нагрузки; это показатель всей системы, а не потребления одной модели.
### Сводка по трём записям
| Профиль | Время | RTFx | WER | Пунктуация / 1000 слов | Средний / пиковый CPU | Минимум свободной памяти |
|---|---:|---:|---:|---:|---:|---:|
| OpenVINO medium INT8 | 438,5 с | 5,97× | 22,9% | 193 | 59,2% / 89% | 6,65 ГиБ |
| **OpenVINO large-v3-turbo INT8** | **267,4 с** | **9,79×** | **19,6%** | 108 | 57,4% / 72% | 8,93 ГиБ |
| OpenVINO large-v3-turbo FP16 | 333,6 с | 7,85× | 20,1% | 114 | 59,0% / 78% | 8,39 ГиБ |
| **ONNX GigaAM v3 E2E RNN-T INT8** | **194,8 с** | **13,44×** | 26,9% | **290** | 56,2% / 82% | 11,71 ГиБ |
Для `medium` на RSQM получились три измеряемых времени: 158,8, 118,3 и
129,3 секунды. Все три транскрипта и отдельный прогревочный проход содержательно
совпали. В таблице использована медиана 129,3 секунды, чтобы не выбирать
произвольно единичный фоновый выброс.
### По отдельным записям
| Запись | Профиль | Время | RTFx | WER | Пунктуация / 1000 слов |
|---|---|---:|---:|---:|---:|
| BDMA | medium INT8 | 140,3 с | 6,35× | 25,0% | 202 |
| BDMA | turbo INT8 | **88,8 с** | **10,03×** | 24,5% | 55 |
| BDMA | turbo FP16 | 109,1 с | 8,16× | **24,4%** | 61 |
| BDMA | GigaAM RNN-T INT8 | **67,5 с** | **13,21×** | 29,0% | **326** |
| RSQM | medium INT8 | 129,3 с | 6,53× | 20,2% | **175** |
| RSQM | turbo INT8 | **82,1 с** | **10,28×** | **16,7%** | 61 |
| RSQM | turbo FP16 | 104,6 с | 8,07× | 20,4% | 48 |
| RSQM | GigaAM RNN-T INT8 | **58,6 с** | **14,41×** | 25,4% | **286** |
| DataCat | medium INT8 | 168,9 с | 5,22× | 23,2% | **199** |
| DataCat | turbo INT8 | **96,5 с** | **9,14×** | 18,0% | 178 |
| DataCat | turbo FP16 | 119,8 с | 7,36× | **16,8%** | 197 |
| DataCat | GigaAM RNN-T INT8 | **68,7 с** | **12,83×** | 26,4% | **265** |
### Повторы `medium` на паузах
На линии 2026.0 один контрольный прогон RSQM на Intel содержал 11 одинаковых
последовательных сегментов. После обновления на Ryzen выполнены четыре прохода
того же файла: один прогревочный и три измеряемых. Во всех четырёх получены
одинаковые 152 сегмента, объединённые форматтером в 17 абзацев. Детектор серий
из четырёх и более одинаковых сегментов не сработал, различий в содержательной
части файлов нет, ложного хвоста также нет.
На этом контрольном файле повтор после OpenVINO 2026.3 устойчиво не
воспроизводится на двух машинах. Это сильнее единичного успешного запуска, но
не доказывает устранение всего класса Whisper-галлюцинаций на тишине: набор
содержит только одну ранее проблемную запись.
### Отличия Ryzen от Intel
- `medium` показал практически одинаковое суммарное время: 438,5 против
436,7 секунды.
- Turbo INT8 на Ryzen быстрее на 27%: 267,4 против 365,5 секунды; FP16 быстрее
на 39%: 333,6 против 545,0 секунды.
- GigaAM на Ryzen быстрее на 27%: 194,8 против 265,7 секунды.
- На Ryzen Turbo INT8 ускоряет обработку относительно `medium` на 39%, а
GigaAM — на 56%.
- Численные WER на Ryzen ниже у всех четырёх профилей. Поскольку файлы,
версии библиотек и заявленная методика совпадают, но сами выходы различаются.
Сравнение характеризует всю среду выполнения; приписывать разницу только
архитектуре CPU без отдельного исследования нельзя.
- Пунктуация Turbo остаётся нестабильной: на Ryzen она лучше результата Intel
для RSQM, но всё ещё значительно реже, чем у `medium` и GigaAM.
### Независимая оценка качества на Ryzen
Как и на первом ноутбуке, два субагента читали полные транскрипты вслепую, без
названий профилей и таблицы численных метрик. Их оценки разошлись по ожидаемой
причине: один ставил выше готовность текста к чтению, второй — точность
технических деталей.
| Профиль | Читаемость | Для конспекта | Для протокола |
|---|---:|---:|---:|
| ONNX GigaAM RNN-T INT8 | **3/5** | **4/5** | **3/5** |
| OpenVINO medium INT8 | **3/5** | 3/5 | 2/5 |
| OpenVINO turbo FP16 | 2/5 | 3/5 | 2/5 |
| OpenVINO turbo INT8 | 2/5 | 2/5 | 2/5 |
По читаемости GigaAM снова занял первое место: он лучше размечает смысловые
границы, сохраняет бытовые и организационные реплики и требует меньше ручной
чистки для чернового конспекта. `medium` оказался вторым. У обоих Turbo начало
нескольких записей превращается в длинные блоки нижнего регистра почти без
пунктуации. Ни один вариант не признан готовым формальным протоколом без сверки.
| Профиль | Смысл | Термины | Полнота | Нет повторов и выдумок |
|---|---:|---:|---:|---:|
| OpenVINO turbo FP16 | **4/5** | **4/5** | 4/5 | **4/5** |
| OpenVINO turbo INT8 | 4/5 | **4/5** | 4/5 | **4/5** |
| OpenVINO medium INT8 | 4/5 | **4/5** | 4/5 | 3/5 |
| ONNX GigaAM RNN-T INT8 | 4/5 | 3/5 | **5/5** | 3/5 |
По технической сохранности первым стал Turbo FP16, особенно на DataCat; Turbo
INT8 почти равен ему. Они лучше удерживают `FineBI`, `OpenLineage`, `Spark`,
`XML`, `DBC TablesV/ColumnsV`, `Open Platform` и архитектурные связи. GigaAM
самый полный, но чаще заменяет неразобранное гладко звучащими ложными терминами.
Наиболее опасные места:
- GigaAM потерял `IMSI` в требуемом ключе `IMSI плюс время`, исказил основание
оставить MPP-вычисления в Teradata и не сохранил Alation как технический
ориентир интеграции с FineBI;
- `medium` заменил Tele2 на `TeraData 2` и «админскую учётку» на «учётку от
Минска», то есть правдоподобно изменил адресата и источник доступа;
- Turbo INT8 почти потерял риск DDoS FineBI через API и необходимость
ограничивать частоту запросов; в другом месте ответ о production-базах
локально перевёрнут;
- Turbo FP16 хуже остальных передал `edge cases` на RSQM и потерял поручение
оценить требования и квоту Teradata, но лучше всего сохранил технически
насыщенный DataCat.
Ни один проверяющий не нашёл длинных повторяющихся или автономно выдуманных
блоков. Основной остаточный риск всех профилей — локальная правдоподобная
подстановка термина, числа или адресата.
### Что это означает для профиля по умолчанию
Результаты поддерживают ONNX GigaAM RNN-T как основной кандидат для русской
речи на CPU: он быстрее всех на обеих машинах, дважды занял первое место по
читаемости и пригодности для конспекта и использует VAD. Но делать его
безусловным глобальным `--device auto` преждевременно:
- GigaAM ориентирован на русский язык и хуже сохраняет латиницу, аббревиатуры,
названия систем и компаний;
- OpenVINO Whisper остаётся многоязычным путём и умеет использовать Intel GPU;
- Turbo лучше GigaAM по WER и техническим терминам, хотя хуже подготовлен для
непосредственного чтения;
- изменение существующего auto-пути будет несовместимым изменением поведения и
требует отдельной продуктовой задачи с language-aware выбором.
Практичный кандидат на будущую политику: `CUDA` для NVIDIA, OpenVINO для Intel
GPU, ONNX GigaAM RNN-T для явно русской речи на CPU, OpenVINO/Whisper для других
языков и явный выбор Turbo для технически насыщенных встреч. В рамках текущей
задачи эта политика не реализуется.
## Вывод ## Вывод
- `large-v3-turbo` реально работает с OpenVINO 2026.3 в вариантах INT8 и FP16. - `large-v3-turbo` реально работает с OpenVINO 2026.3 в вариантах INT8 и FP16.
@@ -186,3 +340,10 @@ FineBI» вместо учётной записи, `NiFi` как `I5`, `edge cas
не было; ручная проверка нашла у medium одиночный ложный сегмент в конце RSQM. не было; ручная проверка нашла у medium одиночный ложный сегмент в конце RSQM.
- Модель по умолчанию и порядок `--device auto` оставлены без изменений. Решение - Модель по умолчанию и порядок `--device auto` оставлены без изменений. Решение
об их изменении требует отдельной продуктовой задачи. об их изменении требует отдельной продуктовой задачи.
- Повторный Ryzen-прогон подтвердил, что прежний блок из 11 повторов `medium`
не воспроизводится: четыре последовательных прохода дали одинаковый текст без
повторов и ложного хвоста. Это подтверждение для контрольного файла, а не
гарантия устранения всех Whisper-галлюцинаций на тишине.
- Для русской речи на CPU ONNX GigaAM RNN-T выглядит лучшим пользовательским
дефолтом по скорости и готовности текста к чтению. OpenVINO сохраняет сильные
аргументы для Intel GPU, других языков и технически насыщенных записей.