From 12e17020bf88e8c8e54a35bd25921cdecb989761 Mon Sep 17 00:00:00 2001 From: Dmitriy Dementiev Date: Wed, 12 Aug 2026 10:33:44 +0300 Subject: [PATCH] =?UTF-8?q?docs(benchmark):=20=D0=B4=D0=BE=D0=B1=D0=B0?= =?UTF-8?q?=D0=B2=D0=BB=D0=B5=D0=BD=D1=8B=20=D1=80=D0=B5=D0=B7=D1=83=D0=BB?= =?UTF-8?q?=D1=8C=D1=82=D0=B0=D1=82=D1=8B=20=D0=BF=D1=80=D0=BE=D0=B3=D0=BE?= =?UTF-8?q?=D0=BD=D0=B0=20=D0=BD=D0=B0=20Ryzen?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - Зачем: - требуется подтвердить сравнение OpenVINO и ONNX на втором CPU и повторно проверить дубли medium. - Что: - добавлены метрики четырёх профилей на Ryzen 7 8845H. - зафиксированы четыре одинаковых прогона RSQM без повторов и результаты двух слепых ревью. - описаны аргументы для будущего выбора backend по умолчанию. - Проверка: - git diff --cached --check. --- ...8-12-openvino-large-v3-turbo-comparison.md | 163 +++++++++++++++++- 1 file changed, 162 insertions(+), 1 deletion(-) diff --git a/docs/benchmarks/2026-08-12-openvino-large-v3-turbo-comparison.md b/docs/benchmarks/2026-08-12-openvino-large-v3-turbo-comparison.md index 5d37edc..6ce8b86 100644 --- a/docs/benchmarks/2026-08-12-openvino-large-v3-turbo-comparison.md +++ b/docs/benchmarks/2026-08-12-openvino-large-v3-turbo-comparison.md @@ -2,7 +2,7 @@ **Дата:** 2026-08-12 -**Статус:** завершённое сравнение на трёх русскоязычных встречах +**Статус:** завершённое сравнение на трёх русскоязычных встречах и двух CPU ## Цель @@ -168,6 +168,160 @@ FineBI» вместо учётной записи, `NiFi` как `I5`, `edge cas проверяющие не нашли. Общий недостаток всех профилей — отсутствие надёжного разделения по участникам, что ограничивает пригодность для формального протокола. +## Повторный прогон на AMD Ryzen 7 8845H + +Повторный прогон выполнен на втором ноутбуке тем же коммитом, на тех же шести +файлах и с теми же параметрами. Размеры и SHA-256 всех файлов совпали с +манифестом. Результаты Intel выше не перезаписывались. + +### Оборудование и условия + +- ноутбук Lenovo 83D5; +- AMD Ryzen 7 8845H, 8 ядер / 16 логических процессоров; +- 32 ГиБ LPDDR5X, четыре чипа Micron, фактическая скорость 6400 MT/s; +- Windows 11 Корпоративная, сборка 26200; +- схема питания «Сбалансированная»; +- OpenVINO 2026.3.0, OpenVINO GenAI и Tokenizers 2026.3.0.0; +- Python 3.13.13; +- язык во всех командах задан явно: `--language ru`; +- кэш каждой модели предварительно прогрет, скачивание не включено во время; +- загрузка CPU и свободная память опрашивались раз в две секунды. + +Во время всех прогонов ноутбук оставался пригодным для интерактивной работы. +Минимум свободной памяти ниже, чем на Intel, из-за 32 ГиБ физической памяти и +фоновой нагрузки; это показатель всей системы, а не потребления одной модели. + +### Сводка по трём записям + +| Профиль | Время | RTFx | WER | Пунктуация / 1000 слов | Средний / пиковый CPU | Минимум свободной памяти | +|---|---:|---:|---:|---:|---:|---:| +| OpenVINO medium INT8 | 438,5 с | 5,97× | 22,9% | 193 | 59,2% / 89% | 6,65 ГиБ | +| **OpenVINO large-v3-turbo INT8** | **267,4 с** | **9,79×** | **19,6%** | 108 | 57,4% / 72% | 8,93 ГиБ | +| OpenVINO large-v3-turbo FP16 | 333,6 с | 7,85× | 20,1% | 114 | 59,0% / 78% | 8,39 ГиБ | +| **ONNX GigaAM v3 E2E RNN-T INT8** | **194,8 с** | **13,44×** | 26,9% | **290** | 56,2% / 82% | 11,71 ГиБ | + +Для `medium` на RSQM получились три измеряемых времени: 158,8, 118,3 и +129,3 секунды. Все три транскрипта и отдельный прогревочный проход содержательно +совпали. В таблице использована медиана 129,3 секунды, чтобы не выбирать +произвольно единичный фоновый выброс. + +### По отдельным записям + +| Запись | Профиль | Время | RTFx | WER | Пунктуация / 1000 слов | +|---|---|---:|---:|---:|---:| +| BDMA | medium INT8 | 140,3 с | 6,35× | 25,0% | 202 | +| BDMA | turbo INT8 | **88,8 с** | **10,03×** | 24,5% | 55 | +| BDMA | turbo FP16 | 109,1 с | 8,16× | **24,4%** | 61 | +| BDMA | GigaAM RNN-T INT8 | **67,5 с** | **13,21×** | 29,0% | **326** | +| RSQM | medium INT8 | 129,3 с | 6,53× | 20,2% | **175** | +| RSQM | turbo INT8 | **82,1 с** | **10,28×** | **16,7%** | 61 | +| RSQM | turbo FP16 | 104,6 с | 8,07× | 20,4% | 48 | +| RSQM | GigaAM RNN-T INT8 | **58,6 с** | **14,41×** | 25,4% | **286** | +| DataCat | medium INT8 | 168,9 с | 5,22× | 23,2% | **199** | +| DataCat | turbo INT8 | **96,5 с** | **9,14×** | 18,0% | 178 | +| DataCat | turbo FP16 | 119,8 с | 7,36× | **16,8%** | 197 | +| DataCat | GigaAM RNN-T INT8 | **68,7 с** | **12,83×** | 26,4% | **265** | + +### Повторы `medium` на паузах + +На линии 2026.0 один контрольный прогон RSQM на Intel содержал 11 одинаковых +последовательных сегментов. После обновления на Ryzen выполнены четыре прохода +того же файла: один прогревочный и три измеряемых. Во всех четырёх получены +одинаковые 152 сегмента, объединённые форматтером в 17 абзацев. Детектор серий +из четырёх и более одинаковых сегментов не сработал, различий в содержательной +части файлов нет, ложного хвоста также нет. + +На этом контрольном файле повтор после OpenVINO 2026.3 устойчиво не +воспроизводится на двух машинах. Это сильнее единичного успешного запуска, но +не доказывает устранение всего класса Whisper-галлюцинаций на тишине: набор +содержит только одну ранее проблемную запись. + +### Отличия Ryzen от Intel + +- `medium` показал практически одинаковое суммарное время: 438,5 против + 436,7 секунды. +- Turbo INT8 на Ryzen быстрее на 27%: 267,4 против 365,5 секунды; FP16 быстрее + на 39%: 333,6 против 545,0 секунды. +- GigaAM на Ryzen быстрее на 27%: 194,8 против 265,7 секунды. +- На Ryzen Turbo INT8 ускоряет обработку относительно `medium` на 39%, а + GigaAM — на 56%. +- Численные WER на Ryzen ниже у всех четырёх профилей. Поскольку файлы, + версии библиотек и заявленная методика совпадают, но сами выходы различаются. + Сравнение характеризует всю среду выполнения; приписывать разницу только + архитектуре CPU без отдельного исследования нельзя. +- Пунктуация Turbo остаётся нестабильной: на Ryzen она лучше результата Intel + для RSQM, но всё ещё значительно реже, чем у `medium` и GigaAM. + +### Независимая оценка качества на Ryzen + +Как и на первом ноутбуке, два субагента читали полные транскрипты вслепую, без +названий профилей и таблицы численных метрик. Их оценки разошлись по ожидаемой +причине: один ставил выше готовность текста к чтению, второй — точность +технических деталей. + +| Профиль | Читаемость | Для конспекта | Для протокола | +|---|---:|---:|---:| +| ONNX GigaAM RNN-T INT8 | **3/5** | **4/5** | **3/5** | +| OpenVINO medium INT8 | **3/5** | 3/5 | 2/5 | +| OpenVINO turbo FP16 | 2/5 | 3/5 | 2/5 | +| OpenVINO turbo INT8 | 2/5 | 2/5 | 2/5 | + +По читаемости GigaAM снова занял первое место: он лучше размечает смысловые +границы, сохраняет бытовые и организационные реплики и требует меньше ручной +чистки для чернового конспекта. `medium` оказался вторым. У обоих Turbo начало +нескольких записей превращается в длинные блоки нижнего регистра почти без +пунктуации. Ни один вариант не признан готовым формальным протоколом без сверки. + +| Профиль | Смысл | Термины | Полнота | Нет повторов и выдумок | +|---|---:|---:|---:|---:| +| OpenVINO turbo FP16 | **4/5** | **4/5** | 4/5 | **4/5** | +| OpenVINO turbo INT8 | 4/5 | **4/5** | 4/5 | **4/5** | +| OpenVINO medium INT8 | 4/5 | **4/5** | 4/5 | 3/5 | +| ONNX GigaAM RNN-T INT8 | 4/5 | 3/5 | **5/5** | 3/5 | + +По технической сохранности первым стал Turbo FP16, особенно на DataCat; Turbo +INT8 почти равен ему. Они лучше удерживают `FineBI`, `OpenLineage`, `Spark`, +`XML`, `DBC TablesV/ColumnsV`, `Open Platform` и архитектурные связи. GigaAM +самый полный, но чаще заменяет неразобранное гладко звучащими ложными терминами. + +Наиболее опасные места: + +- GigaAM потерял `IMSI` в требуемом ключе `IMSI плюс время`, исказил основание + оставить MPP-вычисления в Teradata и не сохранил Alation как технический + ориентир интеграции с FineBI; +- `medium` заменил Tele2 на `TeraData 2` и «админскую учётку» на «учётку от + Минска», то есть правдоподобно изменил адресата и источник доступа; +- Turbo INT8 почти потерял риск DDoS FineBI через API и необходимость + ограничивать частоту запросов; в другом месте ответ о production-базах + локально перевёрнут; +- Turbo FP16 хуже остальных передал `edge cases` на RSQM и потерял поручение + оценить требования и квоту Teradata, но лучше всего сохранил технически + насыщенный DataCat. + +Ни один проверяющий не нашёл длинных повторяющихся или автономно выдуманных +блоков. Основной остаточный риск всех профилей — локальная правдоподобная +подстановка термина, числа или адресата. + +### Что это означает для профиля по умолчанию + +Результаты поддерживают ONNX GigaAM RNN-T как основной кандидат для русской +речи на CPU: он быстрее всех на обеих машинах, дважды занял первое место по +читаемости и пригодности для конспекта и использует VAD. Но делать его +безусловным глобальным `--device auto` преждевременно: + +- GigaAM ориентирован на русский язык и хуже сохраняет латиницу, аббревиатуры, + названия систем и компаний; +- OpenVINO Whisper остаётся многоязычным путём и умеет использовать Intel GPU; +- Turbo лучше GigaAM по WER и техническим терминам, хотя хуже подготовлен для + непосредственного чтения; +- изменение существующего auto-пути будет несовместимым изменением поведения и + требует отдельной продуктовой задачи с language-aware выбором. + +Практичный кандидат на будущую политику: `CUDA` для NVIDIA, OpenVINO для Intel +GPU, ONNX GigaAM RNN-T для явно русской речи на CPU, OpenVINO/Whisper для других +языков и явный выбор Turbo для технически насыщенных встреч. В рамках текущей +задачи эта политика не реализуется. + ## Вывод - `large-v3-turbo` реально работает с OpenVINO 2026.3 в вариантах INT8 и FP16. @@ -186,3 +340,10 @@ FineBI» вместо учётной записи, `NiFi` как `I5`, `edge cas не было; ручная проверка нашла у medium одиночный ложный сегмент в конце RSQM. - Модель по умолчанию и порядок `--device auto` оставлены без изменений. Решение об их изменении требует отдельной продуктовой задачи. +- Повторный Ryzen-прогон подтвердил, что прежний блок из 11 повторов `medium` + не воспроизводится: четыре последовательных прохода дали одинаковый текст без + повторов и ложного хвоста. Это подтверждение для контрольного файла, а не + гарантия устранения всех Whisper-галлюцинаций на тишине. +- Для русской речи на CPU ONNX GigaAM RNN-T выглядит лучшим пользовательским + дефолтом по скорости и готовности текста к чтению. OpenVINO сохраняет сильные + аргументы для Intel GPU, других языков и технически насыщенных записей.