docs(gpu): добавлены результаты тестирования OpenVINO на Intel CPU
- Зачем: - зафиксировать реальные бенчмарки OpenVINO перед мержем в main. - Что: - скорость: OpenVINO medium int8 в 3-4x быстрее CPU float32 (205с vs 658с на 16 мин файле). - качество: сопоставимо с CPU float32 и CUDA float16, галлюцинаций нет. - таблица ожидаемой скорости обновлена с OpenVINO строкой. - отмечено, что тестирование на AMD CPU пока не проводилось. - Проверка: - uv run transcribe file.mp4 --device openvino. Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
This commit is contained in:
+23
-10
@@ -37,10 +37,24 @@ OpenVINO ускоряет inference на x86 процессорах (Intel и AM
|
||||
| medium | OpenVINO/whisper-medium-int8-ov | — |
|
||||
| large-v3 | OpenVINO/whisper-large-v3-int8-ov | OpenVINO/whisper-large-v3-fp16-ov |
|
||||
|
||||
### Качество OpenVINO int8
|
||||
### Результаты тестирования OpenVINO
|
||||
|
||||
OpenVINO использует NNCF (калиброванная post-training квантизация), отличается от runtime-квантизации
|
||||
CTranslate2. Качество может быть другим — **тестирование на реальных сэмплах рекомендуется**.
|
||||
Тесты на Intel CPU (WSL2), реальные записи рабочих созвонов (русский, техтермины).
|
||||
|
||||
**Скорость (medium int8):**
|
||||
|
||||
| Файл | OpenVINO | CPU (CTranslate2) | Ускорение |
|
||||
|------|----------|-------------------|-----------|
|
||||
| 16 мин | 205с (3.4 мин) | 658с (11 мин) | **3.2x** |
|
||||
| 24 мин | 224с (3.7 мин) | — | **~6.5x реалтайм** |
|
||||
|
||||
**Качество (medium int8):**
|
||||
- Содержание и технические термины распознаются корректно
|
||||
- Галлюцинаций и повторов не обнаружено (ни на 16, ни на 24 мин)
|
||||
- Качество сопоставимо с CPU float32 и CUDA float16
|
||||
- OpenVINO даёт более гранулярные сегменты (174 vs 97 на том же файле)
|
||||
|
||||
> Тестирование на AMD CPU пока не проводилось.
|
||||
|
||||
## Настройка по платформам
|
||||
|
||||
@@ -73,14 +87,13 @@ winget install -e --id Nvidia.CUDA --version 12.9 # требует запус
|
||||
|
||||
Замеры на RTX 3060 Laptop (6 GB) и Intel CPU (WSL2):
|
||||
|
||||
| Конфигурация | 16 мин файл | 42 мин файл | Отн. скорость |
|
||||
| Конфигурация | 16 мин файл | 24 мин файл | Отн. скорость |
|
||||
|-------------|-------------|-------------|---------------|
|
||||
| GPU + medium float16 | ~35с | ~133с | ~19x реалтайм |
|
||||
| GPU + large-v3 float16 | ~90с | ~350с | ~7x реалтайм |
|
||||
| CPU + medium float32 | 613с (10 мин) | ~26 мин* | ~1.5x реалтайм |
|
||||
| CPU + large-v3 int8 | 839с (14 мин) | ~37 мин* | ~1:1 реалтайм |
|
||||
|
||||
*Оценка на основе пропорции.
|
||||
| GPU + medium float16 | ~35с | — | ~19x реалтайм |
|
||||
| GPU + large-v3 float16 | ~90с | — | ~7x реалтайм |
|
||||
| **OpenVINO + medium int8** | **205с (3.4 мин)** | **224с (3.7 мин)** | **~4.7-6.5x реалтайм** |
|
||||
| CPU + medium float32 | 658с (11 мин) | — | ~1.5x реалтайм |
|
||||
| CPU + large-v3 int8 | 839с (14 мин) | — | ~1:1 реалтайм |
|
||||
|
||||
## Результаты тестирования качества
|
||||
|
||||
|
||||
Reference in New Issue
Block a user