ddmitry/local-transcriber
1
0
Fork 0
Code Issues 6 Pull Requests Actions Packages Projects Releases Wiki Activity

Обновить OpenVINO до 2026.3 и сравнить large-v3-turbo с CPU-профилями #4

New Issue
Closed
opened 2026-08-11 23:18:40 +03:00 by ddmitry · 2 comments
ddmitry commented 2026-08-11 23:18:40 +03:00
Owner
Copy Link
Copy Source

Что сделать

Согласованно обновить движок распознавания OpenVINO и OpenVINO GenAI с линии 2026.0 до 2026.3, добавить поддерживаемую модель large-v3-turbo в вариантах INT8 и FP16 и проверить практический результат на реальных русскоязычных встречах.

Работа считается завершённой только вместе со сравнением качества, скорости и поведения системы. Изменения выполняются в одной ветке, но обновление зависимостей, поддержка модели и результаты сравнения разделяются на самостоятельные коммиты.

Контрольный набор

Локальная копия трёх записей и внешних транскриптов подготовлена в C:\Users\ddmitry\Yandex.Disk\temp\transcriber-model-comparison. Имена, размеры и SHA-256 совпадают с манифестом завершённого сравнения GigaAM и Whisper.

Внешние транскрипты используются как неточный ориентир: WER является сравнительным сигналом внутри одного файла, а не абсолютной оценкой качества.

Критерии приёмки

  • До обновления выполнен контрольный прогон OpenVINO 2026.0 medium INT8 на всех трёх записях с прогретым кешем и явно заданным русским языком.
  • OpenVINO, OpenVINO GenAI и OpenVINO Tokenizers обновлены до совместимой линии 2026.3 с верхней границей, исключающей автоматический переход на следующую линию.
  • Существующий профиль OpenVINO medium INT8 проходит автоматические проверки и реальный прогон после обновления.
  • large-v3-turbo поддерживается движком OpenVINO в вариантах INT8 и FP16; явный выбор доступной квантизации соблюдается, недоступная пара завершается понятной ошибкой.
  • Автоматические проверки покрывают каталог моделей, разрешение квантизации, создание модели и отсутствие регрессий существующих профилей.
  • После обновления на том же контрольном наборе и оборудовании сравнены OpenVINO medium INT8, OpenVINO large-v3-turbo INT8, OpenVINO large-v3-turbo FP16 и ONNX gigaam-v3-e2e-rnnt INT8.
  • Для каждого профиля зафиксированы время с прогретым кешем, RTFx, WER, плотность пунктуации, сохранность смысла и терминов, пропуски, повторы и галлюцинации.
  • Отдельно зафиксированы точные характеристики оборудования, загрузка процессора и наблюдаемая отзывчивость системы; отзывчивость не используется как жёсткий числовой порог приёмки.
  • Качество независимо оценено минимум двумя субагентами: один проверяет читаемость и пригодность для конспекта и протокола встречи, второй — сохранность содержания, терминов, пропуски, повторы и галлюцинации.
  • Результаты оформлены новым документом сравнения; пользовательская документация описывает новый поддерживаемый профиль OpenVINO.
  • Модель по умолчанию и цепочка --device auto не изменены: решение принимается отдельно после анализа результатов.
  • Повторный прогон на Ryzen не является обязательным для завершения задачи и при необходимости добавляется позднее отдельным блоком результатов.

Вне задачи

VAD, чанкование, диаризация, Qwen3-ASR, INT4, расширение каталога маленьких моделей, переход на общий ASRPipeline и добавление large-v3-turbo в FasterWhisper.

Границы коммитов

  1. Обновление согласованного стека OpenVINO с сохранением работоспособности medium.
  2. Поддержка large-v3-turbo INT8/FP16 и автоматические проверки.
  3. Пользовательская документация и результаты сравнительного прогона.

Заблокировано

Ничем — можно брать в работу сразу.

## Что сделать Согласованно обновить движок распознавания OpenVINO и OpenVINO GenAI с линии 2026.0 до 2026.3, добавить поддерживаемую модель `large-v3-turbo` в вариантах INT8 и FP16 и проверить практический результат на реальных русскоязычных встречах. Работа считается завершённой только вместе со сравнением качества, скорости и поведения системы. Изменения выполняются в одной ветке, но обновление зависимостей, поддержка модели и результаты сравнения разделяются на самостоятельные коммиты. ## Контрольный набор Локальная копия трёх записей и внешних транскриптов подготовлена в `C:\Users\ddmitry\Yandex.Disk\temp\transcriber-model-comparison`. Имена, размеры и SHA-256 совпадают с манифестом завершённого сравнения GigaAM и Whisper. Внешние транскрипты используются как неточный ориентир: WER является сравнительным сигналом внутри одного файла, а не абсолютной оценкой качества. ## Критерии приёмки - [ ] До обновления выполнен контрольный прогон OpenVINO 2026.0 `medium` INT8 на всех трёх записях с прогретым кешем и явно заданным русским языком. - [ ] OpenVINO, OpenVINO GenAI и OpenVINO Tokenizers обновлены до совместимой линии 2026.3 с верхней границей, исключающей автоматический переход на следующую линию. - [ ] Существующий профиль OpenVINO `medium` INT8 проходит автоматические проверки и реальный прогон после обновления. - [ ] `large-v3-turbo` поддерживается движком OpenVINO в вариантах INT8 и FP16; явный выбор доступной квантизации соблюдается, недоступная пара завершается понятной ошибкой. - [ ] Автоматические проверки покрывают каталог моделей, разрешение квантизации, создание модели и отсутствие регрессий существующих профилей. - [ ] После обновления на том же контрольном наборе и оборудовании сравнены OpenVINO `medium` INT8, OpenVINO `large-v3-turbo` INT8, OpenVINO `large-v3-turbo` FP16 и ONNX `gigaam-v3-e2e-rnnt` INT8. - [ ] Для каждого профиля зафиксированы время с прогретым кешем, RTFx, WER, плотность пунктуации, сохранность смысла и терминов, пропуски, повторы и галлюцинации. - [ ] Отдельно зафиксированы точные характеристики оборудования, загрузка процессора и наблюдаемая отзывчивость системы; отзывчивость не используется как жёсткий числовой порог приёмки. - [ ] Качество независимо оценено минимум двумя субагентами: один проверяет читаемость и пригодность для конспекта и протокола встречи, второй — сохранность содержания, терминов, пропуски, повторы и галлюцинации. - [ ] Результаты оформлены новым документом сравнения; пользовательская документация описывает новый поддерживаемый профиль OpenVINO. - [ ] Модель по умолчанию и цепочка `--device auto` не изменены: решение принимается отдельно после анализа результатов. - [ ] Повторный прогон на Ryzen не является обязательным для завершения задачи и при необходимости добавляется позднее отдельным блоком результатов. ## Вне задачи VAD, чанкование, диаризация, Qwen3-ASR, INT4, расширение каталога маленьких моделей, переход на общий `ASRPipeline` и добавление `large-v3-turbo` в FasterWhisper. ## Границы коммитов 1. Обновление согласованного стека OpenVINO с сохранением работоспособности `medium`. 2. Поддержка `large-v3-turbo` INT8/FP16 и автоматические проверки. 3. Пользовательская документация и результаты сравнительного прогона. ## Заблокировано Ничем — можно брать в работу сразу.
ddmitry added the ready-for-agent label 2026-08-11 23:18:40 +03:00
ddmitry commented 2026-08-12 08:55:47 +03:00
Author
Owner
Copy Link
Copy Source

Реализация на первом ноутбуке завершена

Ветка: feature/4-openvino-2026-3

Коммиты разделены по оговорённым границам:

  1. 2e69c2f — согласованно обновлены OpenVINO, OpenVINO GenAI и Tokenizers до линии 2026.3 с верхней границей <2026.4.
  2. a65e503 — добавлен large-v3-turbo INT8/FP16 и проверки каталога, выбора квантизации, понятной ошибки и создания модели.
  3. f043f4e — добавлены пользовательская документация и результаты сравнения.

Итоговые проверки: 231 passed, 1 skipped; uv sync --locked и uv lock --check успешны. Рабочее дерево чистое. Модель по умолчанию и цепочка --device auto не менялись.

Результаты Intel Core i7-11800H

Контрольный набор: три записи общей длительностью 43:37, кэш прогрет, везде явно задан --language ru.

Профиль Время RTFx WER Пунктуация / 1000 слов
OpenVINO 2026.3 medium INT8 436,7 с 5,99× 25,3% 185
OpenVINO 2026.3 large-v3-turbo INT8 365,5 с 7,16× 24,0% 96
OpenVINO 2026.3 large-v3-turbo FP16 545,0 с 4,80× 24,8% 103
ONNX GigaAM v3 E2E RNN-T INT8 265,7 с 9,85× 29,1% 290

До обновления OpenVINO 2026.0 medium INT8 занял 417,0 с при WER 28,9%. На RSQM возник блок из 11 одинаковых сегментов; после обновления повтор не воспроизвёлся. Это положительный результат контрольного набора, но не доказательство устранения всех галлюцинаций на паузах.

Два независимых проверяющих поставили GigaAM первым по читаемости и сохранности делового содержания. Среди OpenVINO они предпочли medium обоим turbo-профилям. Turbo INT8 при этом лучший среди OpenVINO по скорости и численному WER; его слабое место — нестабильная пунктуация.

Полный отчёт: docs/benchmarks/2026-08-12-openvino-large-v3-turbo-comparison.md.

Передача агенту на втором ноутбуке

Повторный прогон на Ryzen не блокирует текущую реализацию, но его можно добавить в тот же отчёт отдельным разделом, не перезаписывая результаты Intel.

  1. Получить ветку feature/4-openvino-2026-3 и выполнить uv sync --locked.
  2. Проверить размеры и SHA-256 шести файлов контрольного набора по манифесту в docs/benchmarks/2026-08-11-gigaam-model-comparison.md.
  3. Зафиксировать модель CPU, число ядер и потоков, объём и скорость памяти, ОС и активную схему питания.
  4. Последовательно прогреть и измерить те же четыре профиля на всех трёх записях. Для OpenVINO использовать --device openvino-cpu, для GigaAM — --device onnx; везде явно передавать --language ru и нужный --compute-type.
  5. Фиксировать полное время команды, RTFx, среднюю и пиковую загрузку CPU, минимум свободной памяти и субъективную отзывчивость. Не включать скачивание модели в измеряемый проход.
  6. Рассчитать WER и пунктуацию по методике нового отчёта, проверить хвосты, повторы и галлюцинации.
  7. Добавить результаты Ryzen отдельным блоком в новый отчёт и явно отметить отличия от Intel.

Исходные аудио и транскрипты в репозиторий не добавлять.

## Реализация на первом ноутбуке завершена Ветка: `feature/4-openvino-2026-3` Коммиты разделены по оговорённым границам: 1. `2e69c2f` — согласованно обновлены OpenVINO, OpenVINO GenAI и Tokenizers до линии 2026.3 с верхней границей `<2026.4`. 2. `a65e503` — добавлен `large-v3-turbo` INT8/FP16 и проверки каталога, выбора квантизации, понятной ошибки и создания модели. 3. `f043f4e` — добавлены пользовательская документация и результаты сравнения. Итоговые проверки: `231 passed, 1 skipped`; `uv sync --locked` и `uv lock --check` успешны. Рабочее дерево чистое. Модель по умолчанию и цепочка `--device auto` не менялись. ### Результаты Intel Core i7-11800H Контрольный набор: три записи общей длительностью 43:37, кэш прогрет, везде явно задан `--language ru`. | Профиль | Время | RTFx | WER | Пунктуация / 1000 слов | |---|---:|---:|---:|---:| | OpenVINO 2026.3 medium INT8 | 436,7 с | 5,99× | 25,3% | 185 | | OpenVINO 2026.3 large-v3-turbo INT8 | 365,5 с | 7,16× | 24,0% | 96 | | OpenVINO 2026.3 large-v3-turbo FP16 | 545,0 с | 4,80× | 24,8% | 103 | | ONNX GigaAM v3 E2E RNN-T INT8 | 265,7 с | 9,85× | 29,1% | 290 | До обновления OpenVINO 2026.0 medium INT8 занял 417,0 с при WER 28,9%. На RSQM возник блок из 11 одинаковых сегментов; после обновления повтор не воспроизвёлся. Это положительный результат контрольного набора, но не доказательство устранения всех галлюцинаций на паузах. Два независимых проверяющих поставили GigaAM первым по читаемости и сохранности делового содержания. Среди OpenVINO они предпочли medium обоим turbo-профилям. Turbo INT8 при этом лучший среди OpenVINO по скорости и численному WER; его слабое место — нестабильная пунктуация. Полный отчёт: `docs/benchmarks/2026-08-12-openvino-large-v3-turbo-comparison.md`. ### Передача агенту на втором ноутбуке Повторный прогон на Ryzen не блокирует текущую реализацию, но его можно добавить в тот же отчёт отдельным разделом, не перезаписывая результаты Intel. 1. Получить ветку `feature/4-openvino-2026-3` и выполнить `uv sync --locked`. 2. Проверить размеры и SHA-256 шести файлов контрольного набора по манифесту в `docs/benchmarks/2026-08-11-gigaam-model-comparison.md`. 3. Зафиксировать модель CPU, число ядер и потоков, объём и скорость памяти, ОС и активную схему питания. 4. Последовательно прогреть и измерить те же четыре профиля на всех трёх записях. Для OpenVINO использовать `--device openvino-cpu`, для GigaAM — `--device onnx`; везде явно передавать `--language ru` и нужный `--compute-type`. 5. Фиксировать полное время команды, RTFx, среднюю и пиковую загрузку CPU, минимум свободной памяти и субъективную отзывчивость. Не включать скачивание модели в измеряемый проход. 6. Рассчитать WER и пунктуацию по методике нового отчёта, проверить хвосты, повторы и галлюцинации. 7. Добавить результаты Ryzen отдельным блоком в новый отчёт и явно отметить отличия от Intel. Исходные аудио и транскрипты в репозиторий не добавлять.
ddmitry commented 2026-08-12 11:51:15 +03:00
Author
Owner
Copy Link
Copy Source

Результаты второго ноутбука и решение по --device auto

Повторный прогон выполнен на AMD Ryzen 7 8845H (8 ядер / 16 потоков, 32 ГиБ LPDDR5X-6400, Windows 11) на тех же трёх записях и с теми же параметрами. Размеры и SHA-256 контрольных файлов совпали с манифестом.

Профиль Время RTFx WER Пунктуация / 1000 слов
OpenVINO medium INT8 438,5 с 5,97× 22,9% 193
OpenVINO large-v3-turbo INT8 267,4 с 9,79× 19,6% 108
OpenVINO large-v3-turbo FP16 333,6 с 7,85× 20,1% 114
ONNX GigaAM v3 E2E RNN-T INT8 194,8 с 13,44× 26,9% 290

На ранее проблемном RSQM выполнены четыре прохода medium после обновления OpenVINO: один прогревочный и три измеряемых. Все четыре дали одинаковые 152 сегмента и 17 абзацев; серий повторов и ложного хвоста нет. Таким образом, прежний блок из 11 повторов устойчиво не воспроизвёлся на двух машинах. Это подтверждение для контрольного файла, но не гарантия устранения всего класса галлюцинаций на паузах.

Независимая слепая оценка снова поставила GigaAM первым по читаемости и пригодности для чернового конспекта. Turbo лучше сохраняет часть технических терминов и показывает лучший WER, но заметно хуже с пунктуацией. Поэтому владелец принял отдельное от benchmark решение:

  • --device auto выбирает CUDA при наличии nvidia-smi;
  • без CUDA выбирается ONNX GigaAM v3 E2E RNN-T INT8;
  • явные CLI-параметры и конфигурационные файлы по-прежнему позволяют выбрать OpenVINO, FasterWhisper CPU или другую ONNX-модель.

Изменения после первого этапа:

  • 12e1702 — добавлены результаты Ryzen;
  • 136e937 — изменена auto-политика на CUDA/ONNX;
  • 995dbe6 — по итогам ревью добавлены языковые ограничения моделей в MODEL_CATALOG, предупреждение о несовместимом языке, рабочие подсказки для Whisper-моделей и честное отображение отсутствия language detection. Этот коммит помечает смену auto-пути как BREAKING CHANGE.

Ограничение дефолта осознанное: GigaAM v3 RNN-T поддерживает русский язык. Для другого языка пользователь получает предупреждение с предложением явно выбрать многоязычный Whisper через OpenVINO или CUDA; распознавание при этом не прерывается.

Итоговые автоматические проверки после доработок: 241 passed, 1 skipped; uv lock --check, compileall и git diff --check успешны. Независимые Spec и Standards review завершились PASS.

## Результаты второго ноутбука и решение по `--device auto` Повторный прогон выполнен на AMD Ryzen 7 8845H (8 ядер / 16 потоков, 32 ГиБ LPDDR5X-6400, Windows 11) на тех же трёх записях и с теми же параметрами. Размеры и SHA-256 контрольных файлов совпали с манифестом. | Профиль | Время | RTFx | WER | Пунктуация / 1000 слов | |---|---:|---:|---:|---:| | OpenVINO medium INT8 | 438,5 с | 5,97× | 22,9% | 193 | | OpenVINO large-v3-turbo INT8 | 267,4 с | 9,79× | 19,6% | 108 | | OpenVINO large-v3-turbo FP16 | 333,6 с | 7,85× | 20,1% | 114 | | ONNX GigaAM v3 E2E RNN-T INT8 | 194,8 с | 13,44× | 26,9% | 290 | На ранее проблемном RSQM выполнены четыре прохода `medium` после обновления OpenVINO: один прогревочный и три измеряемых. Все четыре дали одинаковые 152 сегмента и 17 абзацев; серий повторов и ложного хвоста нет. Таким образом, прежний блок из 11 повторов устойчиво не воспроизвёлся на двух машинах. Это подтверждение для контрольного файла, но не гарантия устранения всего класса галлюцинаций на паузах. Независимая слепая оценка снова поставила GigaAM первым по читаемости и пригодности для чернового конспекта. Turbo лучше сохраняет часть технических терминов и показывает лучший WER, но заметно хуже с пунктуацией. Поэтому владелец принял отдельное от benchmark решение: - `--device auto` выбирает CUDA при наличии `nvidia-smi`; - без CUDA выбирается ONNX GigaAM v3 E2E RNN-T INT8; - явные CLI-параметры и конфигурационные файлы по-прежнему позволяют выбрать OpenVINO, FasterWhisper CPU или другую ONNX-модель. Изменения после первого этапа: - `12e1702` — добавлены результаты Ryzen; - `136e937` — изменена auto-политика на CUDA/ONNX; - `995dbe6` — по итогам ревью добавлены языковые ограничения моделей в `MODEL_CATALOG`, предупреждение о несовместимом языке, рабочие подсказки для Whisper-моделей и честное отображение отсутствия language detection. Этот коммит помечает смену auto-пути как `BREAKING CHANGE`. Ограничение дефолта осознанное: GigaAM v3 RNN-T поддерживает русский язык. Для другого языка пользователь получает предупреждение с предложением явно выбрать многоязычный Whisper через OpenVINO или CUDA; распознавание при этом не прерывается. Итоговые автоматические проверки после доработок: `241 passed, 1 skipped`; `uv lock --check`, `compileall` и `git diff --check` успешны. Независимые Spec и Standards review завершились PASS.
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels
needs-info
Ожидает дополнительной информации от автора
 needs-triage
Требует оценки сопровождающим
 ready-for-agent
Полностью описана и готова для автономного агента
 ready-for-human
Требует реализации человеком
 wayfinder:grilling
Тикет карты: решение через разговор по одному вопросу (HITL)
 wayfinder:map
Карта wayfinder: индекс решений и точка входа
 wayfinder:prototype
Тикет карты: дешёвый черновик, чтобы было на что реагировать (HITL)
 wayfinder:research
Тикет карты: чтение источников, итог — markdown-сводка (AFK)
 wayfinder:task
Тикет карты: ручная работа, разблокирующая решение
 wontfix
Выполняться не будет
No labels ready-for-agent
Milestone
No items
No Milestone
Projects
Clear projects
No projects
Assignees
Clear assignees
ddmitry (Dmitry Dementiev)
No Assignees
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: ddmitry/local-transcriber#4