diff --git a/docs/gpu.md b/docs/gpu.md index bf35464..1df804c 100644 --- a/docs/gpu.md +++ b/docs/gpu.md @@ -37,10 +37,24 @@ OpenVINO ускоряет inference на x86 процессорах (Intel и AM | medium | OpenVINO/whisper-medium-int8-ov | — | | large-v3 | OpenVINO/whisper-large-v3-int8-ov | OpenVINO/whisper-large-v3-fp16-ov | -### Качество OpenVINO int8 +### Результаты тестирования OpenVINO -OpenVINO использует NNCF (калиброванная post-training квантизация), отличается от runtime-квантизации -CTranslate2. Качество может быть другим — **тестирование на реальных сэмплах рекомендуется**. +Тесты на Intel CPU (WSL2), реальные записи рабочих созвонов (русский, техтермины). + +**Скорость (medium int8):** + +| Файл | OpenVINO | CPU (CTranslate2) | Ускорение | +|------|----------|-------------------|-----------| +| 16 мин | 205с (3.4 мин) | 658с (11 мин) | **3.2x** | +| 24 мин | 224с (3.7 мин) | — | **~6.5x реалтайм** | + +**Качество (medium int8):** +- Содержание и технические термины распознаются корректно +- Галлюцинаций и повторов не обнаружено (ни на 16, ни на 24 мин) +- Качество сопоставимо с CPU float32 и CUDA float16 +- OpenVINO даёт более гранулярные сегменты (174 vs 97 на том же файле) + +> Тестирование на AMD CPU пока не проводилось. ## Настройка по платформам @@ -73,14 +87,13 @@ winget install -e --id Nvidia.CUDA --version 12.9 # требует запус Замеры на RTX 3060 Laptop (6 GB) и Intel CPU (WSL2): -| Конфигурация | 16 мин файл | 42 мин файл | Отн. скорость | +| Конфигурация | 16 мин файл | 24 мин файл | Отн. скорость | |-------------|-------------|-------------|---------------| -| GPU + medium float16 | ~35с | ~133с | ~19x реалтайм | -| GPU + large-v3 float16 | ~90с | ~350с | ~7x реалтайм | -| CPU + medium float32 | 613с (10 мин) | ~26 мин* | ~1.5x реалтайм | -| CPU + large-v3 int8 | 839с (14 мин) | ~37 мин* | ~1:1 реалтайм | - -*Оценка на основе пропорции. +| GPU + medium float16 | ~35с | — | ~19x реалтайм | +| GPU + large-v3 float16 | ~90с | — | ~7x реалтайм | +| **OpenVINO + medium int8** | **205с (3.4 мин)** | **224с (3.7 мин)** | **~4.7-6.5x реалтайм** | +| CPU + medium float32 | 658с (11 мин) | — | ~1.5x реалтайм | +| CPU + large-v3 int8 | 839с (14 мин) | — | ~1:1 реалтайм | ## Результаты тестирования качества