local-transcriber/docs/benchmarks/2026-08-12-openvino-large-v3-turbo-comparison.md

Сравнение OpenVINO large-v3-turbo с CPU-профилями

Дата: 2026-08-12

Статус: завершённое сравнение на трёх русскоязычных встречах и двух CPU

Цель

Проверить обновление OpenVINO с линии 2026.0 до 2026.3 и определить, даёт ли large-v3-turbo практическое преимущество перед medium и быстрым профилем ONNX на CPU. Модель по умолчанию и порядок выбора --device auto в рамках сравнения не менялись.

Оборудование и условия

• ноутбук Lenovo 82JD;
• Intel Core i7-11800H, 8 ядер / 16 логических процессоров, 2,30 ГГц;
• 64 ГиБ DDR4-3200, два модуля Kingston по 32 ГиБ;
• Windows 11 Корпоративная, сборка 26200;
• схема питания «Сбалансированная»;
• OpenVINO 2026.3.0, OpenVINO GenAI и Tokenizers 2026.3.0.0;
• Python 3.13.13;
• язык во всех командах задан явно: --language ru;
• модели запускались последовательно, без конкурирующих прогонов.

Кэш каждой модели предварительно прогревался. Время измерялось от запуска команды до её завершения и включает чтение и декодирование локального файла, но не скачивание модели. Загрузка процессора и свободная память опрашивались раз в две секунды. Минимум свободной памяти характеризует всю систему, а не только процесс распознавания.

Во время прогонов система оставалась пригодной для обычной интерактивной работы. На OpenVINO средняя загрузка составляла 54–62%. ONNX на двух записях кратковременно занимал процессор полностью, но наблюдаемого зависания системы не было. Это субъективное наблюдение, а не числовой порог приёмки.

Контрольный набор

Использованы те же три записи общей длительностью 43:37 и те же внешние транскрипты, что в сравнении GigaAM и Whisper. Размеры и SHA-256 всех шести локальных файлов совпали с опубликованным там манифестом.

Внешние транскрипты сами содержат ошибки, редактируют разговорную речь и добавляют разделение по говорящим. Поэтому WER служит сравнительным сигналом внутри одной записи, а не абсолютной оценкой качества.

Методика

Команды OpenVINO имели следующий вид:

uv run transcribe <recording.mp4> `
  --device openvino-cpu `
  --model <medium|large-v3-turbo> `
  --compute-type <int8|fp16> `
  --language ru `
  --force

Для ONNX использовались --device onnx, --model gigaam-v3-e2e-rnnt и --compute-type int8. WER считался после удаления метаданных, таймкодов и обозначений говорящих, приведения к нижнему регистру, замены ё на е и удаления пунктуации. Итоговый WER — микроусреднение: сумма замен, удалений и вставок делится на общее число слов во внешних текстах. Плотность пунктуации — число знаков .,!?…:; на 1000 распознанных слов.

Проверка обновления OpenVINO

До изменения зависимостей OpenVINO 2026.0 medium INT8 был повторно запущен на всём наборе с прогретым кэшем. После обновления тот же профиль успешно прошёл автоматические проверки и реальный прогон.

Стек и профиль	Суммарное время	RTFx	WER	Пунктуация / 1000 слов	Предупреждения
OpenVINO 2026.0 medium INT8	417,0 с	6,28×	28,9%	191	1
OpenVINO 2026.3 medium INT8	436,7 с	5,99×	25,3%	185	0

На линии 2026.0 RSQM содержал 11 одинаковых последовательных сегментов и получил предупреждение о возможной галлюцинации. После обновления повтор не воспроизвёлся, а WER этой записи снизился с 34,2% до 23,3%. Суммарное время выросло на 4,7%; из-за естественного разброса единичных запусков это не следует считать устойчивой регрессией без серии повторов.

Результаты после обновления

Сводка по трём записям

Профиль	Время	RTFx	WER	Пунктуация / 1000 слов	Средний / пиковый CPU	Минимум свободной памяти
OpenVINO medium INT8	436,7 с	5,99×	25,3%	185	54,3% / 85%	36,25 ГиБ
OpenVINO large-v3-turbo INT8	365,5 с	7,16×	24,0%	96	62,0% / 86%	35,04 ГиБ
OpenVINO large-v3-turbo FP16	545,0 с	4,80×	24,8%	103	57,1% / 87%	32,96 ГиБ
ONNX GigaAM v3 E2E RNN-T INT8	265,7 с	9,85×	29,1%	290	70,7% / 100%	35,52 ГиБ

По отдельным записям

Запись	Профиль	Время	RTFx	WER	Пунктуация / 1000 слов
BDMA	medium INT8	137,0 с	6,50×	23,0%	194
BDMA	turbo INT8	118,7 с	7,51×	24,4%	79
BDMA	turbo FP16	180,0 с	4,95×	26,2%	60
BDMA	GigaAM RNN-T INT8	87,6 с	10,17×	29,0%	326
RSQM	medium INT8	125,7 с	6,72×	23,3%	171
RSQM	turbo INT8	116,9 с	7,23×	22,4%	4
RSQM	turbo FP16	170,2 с	4,96×	23,3%	31
RSQM	GigaAM RNN-T INT8	92,9 с	9,09×	27,4%	286
DataCat	medium INT8	174,0 с	5,07×	28,1%	188
DataCat	turbo INT8	129,9 с	6,79×	24,7%	169
DataCat	turbo FP16	194,7 с	4,53×	24,7%	181
DataCat	GigaAM RNN-T INT8	85,2 с	10,36×	30,4%	265

Качественная оценка

Два независимых субагента читали полные транскрипты без таблицы численных метрик. Один оценивал читаемость и пригодность для конспекта и протокола, второй — сохранность содержания и терминов, пропуски, повторы и галлюцинации.

Читаемость и пригодность результата

Профиль	Читаемость	Для конспекта	Для протокола
ONNX GigaAM RNN-T INT8	4/5	4/5	3/5
OpenVINO medium INT8	3/5	3/5	3/5
OpenVINO turbo INT8	2/5	3/5	2/5
OpenVINO turbo FP16	2/5	3/5	2/5

Проверяющий поставил GigaAM на первое место благодаря пунктуации, отделению реплик и естественному ритму. Из текста без труда извлекаются решения: собрать вопросы для архитектуры и сайзинга, не связываться с «дата-рентгеном» в пилоте, уточнить способ доступа к FineBI. При этом протокол требует сверки терминов: XML превращается в «Максмельная», Spark — в «парк», MPP — в «MP-шный».

Medium в основном сохраняет ход мысли, но нестабилен в названиях: «бутылочка в FineBI» вместо учётной записи, NiFi как I5, edge cases как HKEYS. Оба turbo-профиля иногда лучше узнают отдельные имена и термины, включая «Рома Иваницкий», Open Lineage и DBC tables V, однако длинные блоки почти без пунктуации приходится разбирать вручную. Практического преимущества FP16 над INT8 по читаемости не найдено.

Сохранность содержания

Профиль	Смысл	Термины	Пропуски	Повторы и выдумки
ONNX GigaAM RNN-T INT8	5/5	4/5	4/5	4/5
OpenVINO medium INT8	4/5	3/5	4/5	4/5
OpenVINO turbo FP16	4/5	3/5	3/5	4/5
OpenVINO turbo INT8	3/5	3/5	3/5	4/5

Второй проверяющий также поставил GigaAM первым: он лучше удерживает ход рассуждения, отрицания и поручения. Среди OpenVINO medium оказался надёжнее обоих turbo-профилей по сохранности содержания, несмотря на худший WER.

Наиболее опасные искажения:

• turbo FP16 в DataCat пропустил оговорку о том, что API-контракт извлечён из JAR-файлов, а не документации; предположение выглядит установленным фактом;
• turbo INT8 почти потерял обсуждение доступа к DBC, риска перегрузить FineBI через API и необходимости ограничить частоту запросов;
• medium превратил поручение посчитать объём и квоту Teradata в плохо читаемое «нам требование это продать… конкретный объём в продате квоту»;
• GigaAM один раз заменил «МТС хочет продать дата-рентген» на «ты хочешь продать дата-рентген», хотя соседняя фраза восстанавливает инициатора;
• ключ поиска IMSI плюс время не сохранился точно ни в одном профиле;
• у medium после фактического окончания RSQM появился одиночный сегмент «В».

Длинных повторяющихся или полностью выдуманных фрагментов после обновления проверяющие не нашли. Общий недостаток всех профилей — отсутствие надёжного разделения по участникам, что ограничивает пригодность для формального протокола.

Повторный прогон на AMD Ryzen 7 8845H

Повторный прогон выполнен на втором ноутбуке тем же коммитом, на тех же шести файлах и с теми же параметрами. Размеры и SHA-256 всех файлов совпали с манифестом. Результаты Intel выше не перезаписывались.

Оборудование и условия

• ноутбук Lenovo 83D5;
• AMD Ryzen 7 8845H, 8 ядер / 16 логических процессоров;
• 32 ГиБ LPDDR5X, четыре чипа Micron, фактическая скорость 6400 MT/s;
• Windows 11 Корпоративная, сборка 26200;
• схема питания «Сбалансированная»;
• OpenVINO 2026.3.0, OpenVINO GenAI и Tokenizers 2026.3.0.0;
• Python 3.13.13;
• язык во всех командах задан явно: --language ru;
• кэш каждой модели предварительно прогрет, скачивание не включено во время;
• загрузка CPU и свободная память опрашивались раз в две секунды.

Во время всех прогонов ноутбук оставался пригодным для интерактивной работы. Минимум свободной памяти ниже, чем на Intel, из-за 32 ГиБ физической памяти и фоновой нагрузки; это показатель всей системы, а не потребления одной модели.

Сводка по трём записям

Профиль	Время	RTFx	WER	Пунктуация / 1000 слов	Средний / пиковый CPU	Минимум свободной памяти
OpenVINO medium INT8	438,5 с	5,97×	22,9%	193	59,2% / 89%	6,65 ГиБ
OpenVINO large-v3-turbo INT8	267,4 с	9,79×	19,6%	108	57,4% / 72%	8,93 ГиБ
OpenVINO large-v3-turbo FP16	333,6 с	7,85×	20,1%	114	59,0% / 78%	8,39 ГиБ
ONNX GigaAM v3 E2E RNN-T INT8	194,8 с	13,44×	26,9%	290	56,2% / 82%	11,71 ГиБ

Для medium на RSQM получились три измеряемых времени: 158,8, 118,3 и 129,3 секунды. Все три транскрипта и отдельный прогревочный проход содержательно совпали. В таблице использована медиана 129,3 секунды, чтобы не выбирать произвольно единичный фоновый выброс.

По отдельным записям

Запись	Профиль	Время	RTFx	WER	Пунктуация / 1000 слов
BDMA	medium INT8	140,3 с	6,35×	25,0%	202
BDMA	turbo INT8	88,8 с	10,03×	24,5%	55
BDMA	turbo FP16	109,1 с	8,16×	24,4%	61
BDMA	GigaAM RNN-T INT8	67,5 с	13,21×	29,0%	326
RSQM	medium INT8	129,3 с	6,53×	20,2%	175
RSQM	turbo INT8	82,1 с	10,28×	16,7%	61
RSQM	turbo FP16	104,6 с	8,07×	20,4%	48
RSQM	GigaAM RNN-T INT8	58,6 с	14,41×	25,4%	286
DataCat	medium INT8	168,9 с	5,22×	23,2%	199
DataCat	turbo INT8	96,5 с	9,14×	18,0%	178
DataCat	turbo FP16	119,8 с	7,36×	16,8%	197
DataCat	GigaAM RNN-T INT8	68,7 с	12,83×	26,4%	265

Повторы medium на паузах

На линии 2026.0 один контрольный прогон RSQM на Intel содержал 11 одинаковых последовательных сегментов. После обновления на Ryzen выполнены четыре прохода того же файла: один прогревочный и три измеряемых. Во всех четырёх получены одинаковые 152 сегмента, объединённые форматтером в 17 абзацев. Детектор серий из четырёх и более одинаковых сегментов не сработал, различий в содержательной части файлов нет, ложного хвоста также нет.

На этом контрольном файле повтор после OpenVINO 2026.3 устойчиво не воспроизводится на двух машинах. Это сильнее единичного успешного запуска, но не доказывает устранение всего класса Whisper-галлюцинаций на тишине: набор содержит только одну ранее проблемную запись.

Отличия Ryzen от Intel

• medium показал практически одинаковое суммарное время: 438,5 против 436,7 секунды.
• Turbo INT8 на Ryzen быстрее на 27%: 267,4 против 365,5 секунды; FP16 быстрее на 39%: 333,6 против 545,0 секунды.
• GigaAM на Ryzen быстрее на 27%: 194,8 против 265,7 секунды.
• На Ryzen Turbo INT8 ускоряет обработку относительно medium на 39%, а GigaAM — на 56%.
• Численные WER на Ryzen ниже у всех четырёх профилей. Поскольку файлы, версии библиотек и заявленная методика совпадают, но сами выходы различаются. Сравнение характеризует всю среду выполнения; приписывать разницу только архитектуре CPU без отдельного исследования нельзя.
• Пунктуация Turbo остаётся нестабильной: на Ryzen она лучше результата Intel для RSQM, но всё ещё значительно реже, чем у medium и GigaAM.

Независимая оценка качества на Ryzen

Как и на первом ноутбуке, два субагента читали полные транскрипты вслепую, без названий профилей и таблицы численных метрик. Их оценки разошлись по ожидаемой причине: один ставил выше готовность текста к чтению, второй — точность технических деталей.

Профиль	Читаемость	Для конспекта	Для протокола
ONNX GigaAM RNN-T INT8	3/5	4/5	3/5
OpenVINO medium INT8	3/5	3/5	2/5
OpenVINO turbo FP16	2/5	3/5	2/5
OpenVINO turbo INT8	2/5	2/5	2/5

По читаемости GigaAM снова занял первое место: он лучше размечает смысловые границы, сохраняет бытовые и организационные реплики и требует меньше ручной чистки для чернового конспекта. medium оказался вторым. У обоих Turbo начало нескольких записей превращается в длинные блоки нижнего регистра почти без пунктуации. Ни один вариант не признан готовым формальным протоколом без сверки.

Профиль	Смысл	Термины	Полнота	Нет повторов и выдумок
OpenVINO turbo FP16	4/5	4/5	4/5	4/5
OpenVINO turbo INT8	4/5	4/5	4/5	4/5
OpenVINO medium INT8	4/5	4/5	4/5	3/5
ONNX GigaAM RNN-T INT8	4/5	3/5	5/5	3/5

По технической сохранности первым стал Turbo FP16, особенно на DataCat; Turbo INT8 почти равен ему. Они лучше удерживают FineBI, OpenLineage, Spark, XML, DBC TablesV/ColumnsV, Open Platform и архитектурные связи. GigaAM самый полный, но чаще заменяет неразобранное гладко звучащими ложными терминами.

Наиболее опасные места:

• GigaAM потерял IMSI в требуемом ключе IMSI плюс время, исказил основание оставить MPP-вычисления в Teradata и не сохранил Alation как технический ориентир интеграции с FineBI;
• medium заменил Tele2 на TeraData 2 и «админскую учётку» на «учётку от Минска», то есть правдоподобно изменил адресата и источник доступа;
• Turbo INT8 почти потерял риск DDoS FineBI через API и необходимость ограничивать частоту запросов; в другом месте ответ о production-базах локально перевёрнут;
• Turbo FP16 хуже остальных передал edge cases на RSQM и потерял поручение оценить требования и квоту Teradata, но лучше всего сохранил технически насыщенный DataCat.

Ни один проверяющий не нашёл длинных повторяющихся или автономно выдуманных блоков. Основной остаточный риск всех профилей — локальная правдоподобная подстановка термина, числа или адресата.

Что это означает для профиля по умолчанию

Результаты поддерживают ONNX GigaAM RNN-T как основной CPU-профиль: он быстрее всех на обеих машинах, дважды занял первое место по читаемости и пригодности для конспекта и использует VAD. После обсуждения принята простая политика: --device auto выбирает CUDA при наличии nvidia-smi, иначе ONNX.

Ограничения выбора сохраняются:

• GigaAM ориентирован на русский язык и хуже сохраняет латиницу, аббревиатуры, названия систем и компаний;
• OpenVINO Whisper остаётся многоязычным путём и умеет использовать Intel GPU;
• Turbo лучше GigaAM по WER и техническим терминам, хотя хуже подготовлен для непосредственного чтения;
• изменение существующего auto-пути является несовместимым изменением поведения; явные значения из CLI и конфигурации остаются способом сохранить прежний OpenVINO/Whisper-профиль или выбрать Turbo для технически насыщенных встреч.

Вывод

• large-v3-turbo реально работает с OpenVINO 2026.3 в вариантах INT8 и FP16.
• Turbo INT8 оказался на 16% быстрее medium INT8 и снизил суммарный WER с 25,3% до 24,0%. Это лучший OpenVINO-профиль по численным показателям на данном CPU, но не по независимой оценке сохранности содержания и читаемости.
• Turbo FP16 на этом CPU на 49% медленнее turbo INT8 и не дал выигрыша по WER. Его стоит оставлять доступным для явного выбора и других устройств, но не рекомендовать как основной CPU-профиль.
• GigaAM RNN-T остаётся самым быстрым и лучше всех расставляет пунктуацию. Он уступает turbo по WER и сильнее загружает CPU, но оба независимых проверяющих признали его лучшим для чтения и сохранения делового содержания.
• У turbo INT8 пунктуация нестабильна: на RSQM её почти нет. Для готового протокола может потребоваться последующая расстановка пунктуации.
• Автоматических предупреждений о повторах или потере хвоста после обновления не было; ручная проверка нашла у medium одиночный ложный сегмент в конце RSQM.
• В самом benchmark-коммите модель по умолчанию и порядок --device auto не менялись; по итогам анализа отдельно принято решение использовать ONNX на машинах без CUDA.
• Повторный Ryzen-прогон подтвердил, что прежний блок из 11 повторов medium не воспроизводится: четыре последовательных прохода дали одинаковый текст без повторов и ложного хвоста. Это подтверждение для контрольного файла, а не гарантия устранения всех Whisper-галлюцинаций на тишине.
• Для русской речи на CPU ONNX GigaAM RNN-T выглядит лучшим пользовательским дефолтом по скорости и готовности текста к чтению. OpenVINO сохраняет сильные аргументы для Intel GPU, других языков и технически насыщенных записей.