From 29da69c595eb2ce4d59077d2018ee5bb2dd4e234 Mon Sep 17 00:00:00 2001 From: Dmitry Dementev Date: Sun, 22 Mar 2026 00:29:18 +0300 Subject: [PATCH] =?UTF-8?q?docs(gpu):=20=D0=B4=D0=BE=D0=B1=D0=B0=D0=B2?= =?UTF-8?q?=D0=BB=D0=B5=D0=BD=D1=8B=20=D1=80=D0=B5=D0=B7=D1=83=D0=BB=D1=8C?= =?UTF-8?q?=D1=82=D0=B0=D1=82=D1=8B=20=D1=82=D0=B5=D1=81=D1=82=D0=B8=D1=80?= =?UTF-8?q?=D0=BE=D0=B2=D0=B0=D0=BD=D0=B8=D1=8F=20OpenVINO=20=D0=BD=D0=B0?= =?UTF-8?q?=20Intel=20CPU?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - Зачем: - зафиксировать реальные бенчмарки OpenVINO перед мержем в main. - Что: - скорость: OpenVINO medium int8 в 3-4x быстрее CPU float32 (205с vs 658с на 16 мин файле). - качество: сопоставимо с CPU float32 и CUDA float16, галлюцинаций нет. - таблица ожидаемой скорости обновлена с OpenVINO строкой. - отмечено, что тестирование на AMD CPU пока не проводилось. - Проверка: - uv run transcribe file.mp4 --device openvino. Co-Authored-By: Claude Opus 4.6 (1M context) --- docs/gpu.md | 33 +++++++++++++++++++++++---------- 1 file changed, 23 insertions(+), 10 deletions(-) diff --git a/docs/gpu.md b/docs/gpu.md index bf35464..1df804c 100644 --- a/docs/gpu.md +++ b/docs/gpu.md @@ -37,10 +37,24 @@ OpenVINO ускоряет inference на x86 процессорах (Intel и AM | medium | OpenVINO/whisper-medium-int8-ov | — | | large-v3 | OpenVINO/whisper-large-v3-int8-ov | OpenVINO/whisper-large-v3-fp16-ov | -### Качество OpenVINO int8 +### Результаты тестирования OpenVINO -OpenVINO использует NNCF (калиброванная post-training квантизация), отличается от runtime-квантизации -CTranslate2. Качество может быть другим — **тестирование на реальных сэмплах рекомендуется**. +Тесты на Intel CPU (WSL2), реальные записи рабочих созвонов (русский, техтермины). + +**Скорость (medium int8):** + +| Файл | OpenVINO | CPU (CTranslate2) | Ускорение | +|------|----------|-------------------|-----------| +| 16 мин | 205с (3.4 мин) | 658с (11 мин) | **3.2x** | +| 24 мин | 224с (3.7 мин) | — | **~6.5x реалтайм** | + +**Качество (medium int8):** +- Содержание и технические термины распознаются корректно +- Галлюцинаций и повторов не обнаружено (ни на 16, ни на 24 мин) +- Качество сопоставимо с CPU float32 и CUDA float16 +- OpenVINO даёт более гранулярные сегменты (174 vs 97 на том же файле) + +> Тестирование на AMD CPU пока не проводилось. ## Настройка по платформам @@ -73,14 +87,13 @@ winget install -e --id Nvidia.CUDA --version 12.9 # требует запус Замеры на RTX 3060 Laptop (6 GB) и Intel CPU (WSL2): -| Конфигурация | 16 мин файл | 42 мин файл | Отн. скорость | +| Конфигурация | 16 мин файл | 24 мин файл | Отн. скорость | |-------------|-------------|-------------|---------------| -| GPU + medium float16 | ~35с | ~133с | ~19x реалтайм | -| GPU + large-v3 float16 | ~90с | ~350с | ~7x реалтайм | -| CPU + medium float32 | 613с (10 мин) | ~26 мин* | ~1.5x реалтайм | -| CPU + large-v3 int8 | 839с (14 мин) | ~37 мин* | ~1:1 реалтайм | - -*Оценка на основе пропорции. +| GPU + medium float16 | ~35с | — | ~19x реалтайм | +| GPU + large-v3 float16 | ~90с | — | ~7x реалтайм | +| **OpenVINO + medium int8** | **205с (3.4 мин)** | **224с (3.7 мин)** | **~4.7-6.5x реалтайм** | +| CPU + medium float32 | 658с (11 мин) | — | ~1.5x реалтайм | +| CPU + large-v3 int8 | 839с (14 мин) | — | ~1:1 реалтайм | ## Результаты тестирования качества