Обновление OpenVINO до 2026.3, large-v3-turbo и ONNX по умолчанию #6
@@ -2,7 +2,7 @@
|
|||||||
|
|
||||||
**Дата:** 2026-08-12
|
**Дата:** 2026-08-12
|
||||||
|
|
||||||
**Статус:** завершённое сравнение на трёх русскоязычных встречах
|
**Статус:** завершённое сравнение на трёх русскоязычных встречах и двух CPU
|
||||||
|
|
||||||
## Цель
|
## Цель
|
||||||
|
|
||||||
@@ -168,6 +168,160 @@ FineBI» вместо учётной записи, `NiFi` как `I5`, `edge cas
|
|||||||
проверяющие не нашли. Общий недостаток всех профилей — отсутствие надёжного
|
проверяющие не нашли. Общий недостаток всех профилей — отсутствие надёжного
|
||||||
разделения по участникам, что ограничивает пригодность для формального протокола.
|
разделения по участникам, что ограничивает пригодность для формального протокола.
|
||||||
|
|
||||||
|
## Повторный прогон на AMD Ryzen 7 8845H
|
||||||
|
|
||||||
|
Повторный прогон выполнен на втором ноутбуке тем же коммитом, на тех же шести
|
||||||
|
файлах и с теми же параметрами. Размеры и SHA-256 всех файлов совпали с
|
||||||
|
манифестом. Результаты Intel выше не перезаписывались.
|
||||||
|
|
||||||
|
### Оборудование и условия
|
||||||
|
|
||||||
|
- ноутбук Lenovo 83D5;
|
||||||
|
- AMD Ryzen 7 8845H, 8 ядер / 16 логических процессоров;
|
||||||
|
- 32 ГиБ LPDDR5X, четыре чипа Micron, фактическая скорость 6400 MT/s;
|
||||||
|
- Windows 11 Корпоративная, сборка 26200;
|
||||||
|
- схема питания «Сбалансированная»;
|
||||||
|
- OpenVINO 2026.3.0, OpenVINO GenAI и Tokenizers 2026.3.0.0;
|
||||||
|
- Python 3.13.13;
|
||||||
|
- язык во всех командах задан явно: `--language ru`;
|
||||||
|
- кэш каждой модели предварительно прогрет, скачивание не включено во время;
|
||||||
|
- загрузка CPU и свободная память опрашивались раз в две секунды.
|
||||||
|
|
||||||
|
Во время всех прогонов ноутбук оставался пригодным для интерактивной работы.
|
||||||
|
Минимум свободной памяти ниже, чем на Intel, из-за 32 ГиБ физической памяти и
|
||||||
|
фоновой нагрузки; это показатель всей системы, а не потребления одной модели.
|
||||||
|
|
||||||
|
### Сводка по трём записям
|
||||||
|
|
||||||
|
| Профиль | Время | RTFx | WER | Пунктуация / 1000 слов | Средний / пиковый CPU | Минимум свободной памяти |
|
||||||
|
|---|---:|---:|---:|---:|---:|---:|
|
||||||
|
| OpenVINO medium INT8 | 438,5 с | 5,97× | 22,9% | 193 | 59,2% / 89% | 6,65 ГиБ |
|
||||||
|
| **OpenVINO large-v3-turbo INT8** | **267,4 с** | **9,79×** | **19,6%** | 108 | 57,4% / 72% | 8,93 ГиБ |
|
||||||
|
| OpenVINO large-v3-turbo FP16 | 333,6 с | 7,85× | 20,1% | 114 | 59,0% / 78% | 8,39 ГиБ |
|
||||||
|
| **ONNX GigaAM v3 E2E RNN-T INT8** | **194,8 с** | **13,44×** | 26,9% | **290** | 56,2% / 82% | 11,71 ГиБ |
|
||||||
|
|
||||||
|
Для `medium` на RSQM получились три измеряемых времени: 158,8, 118,3 и
|
||||||
|
129,3 секунды. Все три транскрипта и отдельный прогревочный проход содержательно
|
||||||
|
совпали. В таблице использована медиана 129,3 секунды, чтобы не выбирать
|
||||||
|
произвольно единичный фоновый выброс.
|
||||||
|
|
||||||
|
### По отдельным записям
|
||||||
|
|
||||||
|
| Запись | Профиль | Время | RTFx | WER | Пунктуация / 1000 слов |
|
||||||
|
|---|---|---:|---:|---:|---:|
|
||||||
|
| BDMA | medium INT8 | 140,3 с | 6,35× | 25,0% | 202 |
|
||||||
|
| BDMA | turbo INT8 | **88,8 с** | **10,03×** | 24,5% | 55 |
|
||||||
|
| BDMA | turbo FP16 | 109,1 с | 8,16× | **24,4%** | 61 |
|
||||||
|
| BDMA | GigaAM RNN-T INT8 | **67,5 с** | **13,21×** | 29,0% | **326** |
|
||||||
|
| RSQM | medium INT8 | 129,3 с | 6,53× | 20,2% | **175** |
|
||||||
|
| RSQM | turbo INT8 | **82,1 с** | **10,28×** | **16,7%** | 61 |
|
||||||
|
| RSQM | turbo FP16 | 104,6 с | 8,07× | 20,4% | 48 |
|
||||||
|
| RSQM | GigaAM RNN-T INT8 | **58,6 с** | **14,41×** | 25,4% | **286** |
|
||||||
|
| DataCat | medium INT8 | 168,9 с | 5,22× | 23,2% | **199** |
|
||||||
|
| DataCat | turbo INT8 | **96,5 с** | **9,14×** | 18,0% | 178 |
|
||||||
|
| DataCat | turbo FP16 | 119,8 с | 7,36× | **16,8%** | 197 |
|
||||||
|
| DataCat | GigaAM RNN-T INT8 | **68,7 с** | **12,83×** | 26,4% | **265** |
|
||||||
|
|
||||||
|
### Повторы `medium` на паузах
|
||||||
|
|
||||||
|
На линии 2026.0 один контрольный прогон RSQM на Intel содержал 11 одинаковых
|
||||||
|
последовательных сегментов. После обновления на Ryzen выполнены четыре прохода
|
||||||
|
того же файла: один прогревочный и три измеряемых. Во всех четырёх получены
|
||||||
|
одинаковые 152 сегмента, объединённые форматтером в 17 абзацев. Детектор серий
|
||||||
|
из четырёх и более одинаковых сегментов не сработал, различий в содержательной
|
||||||
|
части файлов нет, ложного хвоста также нет.
|
||||||
|
|
||||||
|
На этом контрольном файле повтор после OpenVINO 2026.3 устойчиво не
|
||||||
|
воспроизводится на двух машинах. Это сильнее единичного успешного запуска, но
|
||||||
|
не доказывает устранение всего класса Whisper-галлюцинаций на тишине: набор
|
||||||
|
содержит только одну ранее проблемную запись.
|
||||||
|
|
||||||
|
### Отличия Ryzen от Intel
|
||||||
|
|
||||||
|
- `medium` показал практически одинаковое суммарное время: 438,5 против
|
||||||
|
436,7 секунды.
|
||||||
|
- Turbo INT8 на Ryzen быстрее на 27%: 267,4 против 365,5 секунды; FP16 быстрее
|
||||||
|
на 39%: 333,6 против 545,0 секунды.
|
||||||
|
- GigaAM на Ryzen быстрее на 27%: 194,8 против 265,7 секунды.
|
||||||
|
- На Ryzen Turbo INT8 ускоряет обработку относительно `medium` на 39%, а
|
||||||
|
GigaAM — на 56%.
|
||||||
|
- Численные WER на Ryzen ниже у всех четырёх профилей. Поскольку файлы,
|
||||||
|
версии библиотек и заявленная методика совпадают, но сами выходы различаются.
|
||||||
|
Сравнение характеризует всю среду выполнения; приписывать разницу только
|
||||||
|
архитектуре CPU без отдельного исследования нельзя.
|
||||||
|
- Пунктуация Turbo остаётся нестабильной: на Ryzen она лучше результата Intel
|
||||||
|
для RSQM, но всё ещё значительно реже, чем у `medium` и GigaAM.
|
||||||
|
|
||||||
|
### Независимая оценка качества на Ryzen
|
||||||
|
|
||||||
|
Как и на первом ноутбуке, два субагента читали полные транскрипты вслепую, без
|
||||||
|
названий профилей и таблицы численных метрик. Их оценки разошлись по ожидаемой
|
||||||
|
причине: один ставил выше готовность текста к чтению, второй — точность
|
||||||
|
технических деталей.
|
||||||
|
|
||||||
|
| Профиль | Читаемость | Для конспекта | Для протокола |
|
||||||
|
|---|---:|---:|---:|
|
||||||
|
| ONNX GigaAM RNN-T INT8 | **3/5** | **4/5** | **3/5** |
|
||||||
|
| OpenVINO medium INT8 | **3/5** | 3/5 | 2/5 |
|
||||||
|
| OpenVINO turbo FP16 | 2/5 | 3/5 | 2/5 |
|
||||||
|
| OpenVINO turbo INT8 | 2/5 | 2/5 | 2/5 |
|
||||||
|
|
||||||
|
По читаемости GigaAM снова занял первое место: он лучше размечает смысловые
|
||||||
|
границы, сохраняет бытовые и организационные реплики и требует меньше ручной
|
||||||
|
чистки для чернового конспекта. `medium` оказался вторым. У обоих Turbo начало
|
||||||
|
нескольких записей превращается в длинные блоки нижнего регистра почти без
|
||||||
|
пунктуации. Ни один вариант не признан готовым формальным протоколом без сверки.
|
||||||
|
|
||||||
|
| Профиль | Смысл | Термины | Полнота | Нет повторов и выдумок |
|
||||||
|
|---|---:|---:|---:|---:|
|
||||||
|
| OpenVINO turbo FP16 | **4/5** | **4/5** | 4/5 | **4/5** |
|
||||||
|
| OpenVINO turbo INT8 | 4/5 | **4/5** | 4/5 | **4/5** |
|
||||||
|
| OpenVINO medium INT8 | 4/5 | **4/5** | 4/5 | 3/5 |
|
||||||
|
| ONNX GigaAM RNN-T INT8 | 4/5 | 3/5 | **5/5** | 3/5 |
|
||||||
|
|
||||||
|
По технической сохранности первым стал Turbo FP16, особенно на DataCat; Turbo
|
||||||
|
INT8 почти равен ему. Они лучше удерживают `FineBI`, `OpenLineage`, `Spark`,
|
||||||
|
`XML`, `DBC TablesV/ColumnsV`, `Open Platform` и архитектурные связи. GigaAM
|
||||||
|
самый полный, но чаще заменяет неразобранное гладко звучащими ложными терминами.
|
||||||
|
|
||||||
|
Наиболее опасные места:
|
||||||
|
|
||||||
|
- GigaAM потерял `IMSI` в требуемом ключе `IMSI плюс время`, исказил основание
|
||||||
|
оставить MPP-вычисления в Teradata и не сохранил Alation как технический
|
||||||
|
ориентир интеграции с FineBI;
|
||||||
|
- `medium` заменил Tele2 на `TeraData 2` и «админскую учётку» на «учётку от
|
||||||
|
Минска», то есть правдоподобно изменил адресата и источник доступа;
|
||||||
|
- Turbo INT8 почти потерял риск DDoS FineBI через API и необходимость
|
||||||
|
ограничивать частоту запросов; в другом месте ответ о production-базах
|
||||||
|
локально перевёрнут;
|
||||||
|
- Turbo FP16 хуже остальных передал `edge cases` на RSQM и потерял поручение
|
||||||
|
оценить требования и квоту Teradata, но лучше всего сохранил технически
|
||||||
|
насыщенный DataCat.
|
||||||
|
|
||||||
|
Ни один проверяющий не нашёл длинных повторяющихся или автономно выдуманных
|
||||||
|
блоков. Основной остаточный риск всех профилей — локальная правдоподобная
|
||||||
|
подстановка термина, числа или адресата.
|
||||||
|
|
||||||
|
### Что это означает для профиля по умолчанию
|
||||||
|
|
||||||
|
Результаты поддерживают ONNX GigaAM RNN-T как основной кандидат для русской
|
||||||
|
речи на CPU: он быстрее всех на обеих машинах, дважды занял первое место по
|
||||||
|
читаемости и пригодности для конспекта и использует VAD. Но делать его
|
||||||
|
безусловным глобальным `--device auto` преждевременно:
|
||||||
|
|
||||||
|
- GigaAM ориентирован на русский язык и хуже сохраняет латиницу, аббревиатуры,
|
||||||
|
названия систем и компаний;
|
||||||
|
- OpenVINO Whisper остаётся многоязычным путём и умеет использовать Intel GPU;
|
||||||
|
- Turbo лучше GigaAM по WER и техническим терминам, хотя хуже подготовлен для
|
||||||
|
непосредственного чтения;
|
||||||
|
- изменение существующего auto-пути будет несовместимым изменением поведения и
|
||||||
|
требует отдельной продуктовой задачи с language-aware выбором.
|
||||||
|
|
||||||
|
Практичный кандидат на будущую политику: `CUDA` для NVIDIA, OpenVINO для Intel
|
||||||
|
GPU, ONNX GigaAM RNN-T для явно русской речи на CPU, OpenVINO/Whisper для других
|
||||||
|
языков и явный выбор Turbo для технически насыщенных встреч. В рамках текущей
|
||||||
|
задачи эта политика не реализуется.
|
||||||
|
|
||||||
## Вывод
|
## Вывод
|
||||||
|
|
||||||
- `large-v3-turbo` реально работает с OpenVINO 2026.3 в вариантах INT8 и FP16.
|
- `large-v3-turbo` реально работает с OpenVINO 2026.3 в вариантах INT8 и FP16.
|
||||||
@@ -186,3 +340,10 @@ FineBI» вместо учётной записи, `NiFi` как `I5`, `edge cas
|
|||||||
не было; ручная проверка нашла у medium одиночный ложный сегмент в конце RSQM.
|
не было; ручная проверка нашла у medium одиночный ложный сегмент в конце RSQM.
|
||||||
- Модель по умолчанию и порядок `--device auto` оставлены без изменений. Решение
|
- Модель по умолчанию и порядок `--device auto` оставлены без изменений. Решение
|
||||||
об их изменении требует отдельной продуктовой задачи.
|
об их изменении требует отдельной продуктовой задачи.
|
||||||
|
- Повторный Ryzen-прогон подтвердил, что прежний блок из 11 повторов `medium`
|
||||||
|
не воспроизводится: четыре последовательных прохода дали одинаковый текст без
|
||||||
|
повторов и ложного хвоста. Это подтверждение для контрольного файла, а не
|
||||||
|
гарантия устранения всех Whisper-галлюцинаций на тишине.
|
||||||
|
- Для русской речи на CPU ONNX GigaAM RNN-T выглядит лучшим пользовательским
|
||||||
|
дефолтом по скорости и готовности текста к чтению. OpenVINO сохраняет сильные
|
||||||
|
аргументы для Intel GPU, других языков и технически насыщенных записей.
|
||||||
|
|||||||
Reference in New Issue
Block a user