ddadminandClaude Opus 4.6
52acecfd65
- whisper.cpp medium f16 на CPU: 886с, качество ≈ CT2 float32 - Vulkan GPU не доступен в WSL2 для AMD (нет dozen драйвера) - Следующий шаг: Windows-сборка с нативным Vulkan Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
259 lines
12 KiB
Markdown
259 lines
12 KiB
Markdown
# Исследование: ускорение на AMD Radeon / NPU
|
||
|
||
**Дата**: 2026-03-23
|
||
**Железо**: AMD Ryzen 7 8845H, Radeon 780M iGPU (RDNA3, 12 CU), XDNA 1 NPU (16 TOPS)
|
||
|
||
## Мотивация
|
||
|
||
Бенчмарк ([benchmark-2026-03-23.md](benchmark-2026-03-23.md)) показал: лучшее качество
|
||
даёт CTranslate2 float32/int8_float32, но это 600–880с на 15-минутную запись.
|
||
OpenVINO fp16 быстрее (240с), но теряет качество на русской речи.
|
||
|
||
Нужен путь: качество float32 + скорость GPU.
|
||
|
||
## Вариант 1: DirectML (onnxruntime-directml)
|
||
|
||
### Вердикт: ❌ НЕ рекомендуется
|
||
|
||
**Блокирующая проблема**: оператор `DecoderMaskedMultiHeadAttention` не реализован
|
||
в DirectML ([Olive#1213](https://github.com/microsoft/Olive/issues/1213), открыт с июня 2024).
|
||
Whisper-декодер fallback-ится на CPU — GPU ускоряет только encoder, выигрыш минимален.
|
||
|
||
**DirectML в maintenance mode** — Microsoft переключился на Windows ML (WinML).
|
||
Команда DML расформирована, новых операторов не будет. Фикс маловероятен.
|
||
|
||
**WinML** (замена DirectML) — GA с сентября 2025, но Python-пакет `onnxruntime-winml`
|
||
ещё не доступен. Требует Windows 11 25H2+. Потенциально интересен в будущем.
|
||
|
||
## Вариант 2: whisper.cpp + Vulkan ✅
|
||
|
||
### Вердикт: рекомендуется как основной путь
|
||
|
||
**Почему:**
|
||
- Проверен на AMD Radeon 780M — баг softmax ([#2596](https://github.com/ggml-org/whisper.cpp/issues/2596))
|
||
исправлен в декабре 2024
|
||
- **3–4x ускорение** vs CPU на Radeon 680M (RDNA2), 780M (RDNA3) должен быть не хуже
|
||
- Весь pipeline внутри: аудио → mel → encoder → decoder → beam search
|
||
- GGUF-модели компактнее ONNX
|
||
- Активная разработка, Vulkan-бэкенд зрелый
|
||
|
||
**Бенчмарки (чужие, похожее железо):**
|
||
|
||
| GPU | Модель | Результат |
|
||
|-----|--------|-----------|
|
||
| Radeon 680M (RDNA2) | medium | ~3–4x быстрее CPU |
|
||
| Ryzen 5 4500U (Vega) | medium | 1ч аудио за ~25 мин |
|
||
| Ryzen AI Max+ 395 (Strix Halo) | large-v3-turbo | 1ч20м аудио за ~3 мин |
|
||
|
||
**Память:** Radeon 780M использует системную RAM. whisper-medium в GGUF ≈ 1.5 ГБ —
|
||
помещается с запасом.
|
||
|
||
### Интеграция в проект
|
||
|
||
Новый бэкенд `backends/whisper_cpp.py`, реализующий Backend Protocol:
|
||
|
||
```
|
||
uv add pywhispercpp # Python-биндинги к whisper.cpp
|
||
```
|
||
|
||
Либо Vulkan-сборка whisper.cpp как subprocess (более надёжно,
|
||
но менее удобно для пользователя).
|
||
|
||
**Зависимость в pyproject.toml:**
|
||
```toml
|
||
# Опциональная, т.к. требует Vulkan-совместимый GPU
|
||
"pywhispercpp>=0.4; sys_platform == 'win32'"
|
||
```
|
||
|
||
Либо через dependency group:
|
||
```toml
|
||
[dependency-groups]
|
||
vulkan = ["pywhispercpp>=0.4"]
|
||
```
|
||
|
||
Тогда установка: `uv sync --group vulkan`
|
||
|
||
**Открытые вопросы:**
|
||
- pywhispercpp собран с Vulkan или нужна своя сборка?
|
||
- Качество GGUF-квантизации vs CTranslate2 float32 — нужен бенчмарк
|
||
- Формат моделей другой (GGUF vs CTranslate2/OpenVINO) — ещё одно скачивание
|
||
|
||
## Вариант 3: AMD NPU (XDNA)
|
||
|
||
### Вердикт: ⏳ рано для XDNA 1, перспективно для XDNA 2
|
||
|
||
**Что есть:**
|
||
- Ryzen AI Software 1.7.0 (февраль 2026) поддерживает 8845H (Hawk Point)
|
||
- [AMD LIRA](https://github.com/amd/LIRA) — CLI для ASR на NPU, поддерживает whisper base/small/medium
|
||
- [AMD-форк whisper.cpp](https://github.com/amd/whisper.cpp) с NPU-бэкендом
|
||
- Pre-квантизированные модели на HuggingFace (`amd/NPU-Whisper-Base-Small`)
|
||
|
||
**Ограничения на XDNA 1 (8845H):**
|
||
- 16 TOPS — в 3 раза слабее XDNA 2 (50 TOPS)
|
||
- **Только encoder** на NPU, decoder на CPU — ускорение частичное
|
||
- whisper-large-v3 не помещается
|
||
- Установка через отдельный installer AMD, не pip/uv
|
||
- Форк whisper.cpp не в mainline — риск отставания
|
||
|
||
**Когда станет интересно:**
|
||
- На железе с XDNA 2 (Ryzen AI 300+, 50 TOPS)
|
||
- Когда AMD выпустит pip-пакет или upstreamит в whisper.cpp
|
||
- Для сценариев, где CPU/GPU заняты другой работой
|
||
|
||
## Сводка
|
||
|
||
| Подход | Применимость | Ускорение | Сложность | Стабильность |
|
||
|--------|-------------|-----------|-----------|--------------|
|
||
| **whisper.cpp + Vulkan** | ✅ высокая | 3–4x vs CPU | низкая | хорошая |
|
||
| DirectML (onnxruntime) | ❌ заблокирован | — | — | — |
|
||
| AMD NPU (XDNA 1) | ⚠️ ограничен | частичное | высокая | средняя |
|
||
| WinML (будущее) | ⏳ не готов | неизвестно | средняя | — |
|
||
|
||
## Детали по whisper.cpp + Vulkan
|
||
|
||
### Модели (GGML .bin формат, НЕ GGUF)
|
||
|
||
Скачивать с https://huggingface.co/ggerganov/whisper.cpp/tree/main
|
||
|
||
| Модель | Файл | Размер |
|
||
|--------|------|--------|
|
||
| medium f16 | `ggml-medium.bin` | 1.53 ГБ |
|
||
| medium q8_0 | `ggml-medium-q8_0.bin` | 823 МБ |
|
||
| medium q5_0 | `ggml-medium-q5_0.bin` | 539 МБ |
|
||
| large-v3 f16 | `ggml-large-v3.bin` | 3.1 ГБ |
|
||
| large-v3 q5_0 | `ggml-large-v3-q5_0.bin` | 1.08 ГБ |
|
||
| large-v3-turbo f16 | `ggml-large-v3-turbo.bin` | 1.62 ГБ |
|
||
| large-v3-turbo q8_0 | `ggml-large-v3-turbo-q8_0.bin` | 874 МБ |
|
||
|
||
### Python-биндинги
|
||
|
||
**pywhispercpp** (v1.4.1) — pip wheel CPU-only. Для Vulkan нужна сборка из исходников:
|
||
```bash
|
||
GGML_VULKAN=1 pip install git+https://github.com/absadiki/pywhispercpp
|
||
```
|
||
Требует: VulkanSDK, cmake, C++ компилятор.
|
||
|
||
### Subprocess-подход (альтернатива)
|
||
|
||
whisper-cli принимает WAV 16kHz mono, выдаёт JSON с таймкодами:
|
||
```bash
|
||
whisper-cli -m ggml-medium.bin -f audio.wav -l ru -oj -of output
|
||
```
|
||
|
||
Для видео/mp3 нужна предварительная конвертация через ffmpeg (PyAV уже есть в зависимостях).
|
||
|
||
### Сборка whisper.cpp с Vulkan
|
||
|
||
```bash
|
||
# Linux/WSL
|
||
sudo apt install cmake build-essential libvulkan-dev
|
||
git clone https://github.com/ggml-org/whisper.cpp
|
||
cd whisper.cpp
|
||
cmake -B build -DGGML_VULKAN=ON -DCMAKE_BUILD_TYPE=Release
|
||
cmake --build build --config Release -j$(nproc)
|
||
# -> build/bin/whisper-cli
|
||
```
|
||
|
||
## Прототип: whisper.cpp в WSL2 (2026-03-23)
|
||
|
||
### Сборка
|
||
|
||
whisper.cpp собран с `-DGGML_VULKAN=ON`, но **Vulkan GPU не обнаружен**:
|
||
|
||
```
|
||
ggml_vulkan: No devices found.
|
||
whisper_backend_init_gpu: no GPU found
|
||
```
|
||
|
||
**Причина**: WSL2 не предоставляет Vulkan-доступ к AMD GPU.
|
||
- `/dev/dxg` есть (DirectX 12 paravirtualization), но **dozen** (Vulkan-over-D3D12) драйвер
|
||
отсутствует в текущей mesa (25.2.8)
|
||
- RADV (нативный Vulkan) не работает — нет `/dev/dri/renderD128`
|
||
- Единственный Vulkan-девайс — `llvmpipe` (CPU-эмуляция), whisper.cpp его игнорирует
|
||
|
||
Whisper.cpp отработал **на CPU** (4 потока, AVX512).
|
||
|
||
### Скорость (CPU fallback)
|
||
|
||
| Параметр | Значение |
|
||
|----------|----------|
|
||
| Модель | ggml-medium.bin (f16, 1533 МБ) |
|
||
| Аудио | 14:41 (881с), русский, 3 участника |
|
||
| Общее время | **886с** |
|
||
| encode | 368с (32 прохода, 11.5с/проход) |
|
||
| batchd (decode) | 424с |
|
||
| Потоки | 4 / 16 |
|
||
| Beam search | 5 beams + best of 5 |
|
||
|
||
Сравнение с бенчмарком (тот же аудиофайл):
|
||
|
||
| Конфигурация | Время, с |
|
||
|---|---|
|
||
| OpenVINO fp16 (medium) | ~240 |
|
||
| CT2 int8_float32 (medium) | ~599 |
|
||
| CT2 float32 (medium) | ~881 |
|
||
| **whisper.cpp CPU (medium f16)** | **~886** |
|
||
|
||
На CPU whisper.cpp ≈ CTranslate2 float32. Без GPU ускорения нет.
|
||
|
||
### Качество (сравнение с бенчмарком)
|
||
|
||
#### Техтермины
|
||
|
||
| Термин | whisper.cpp (CPU) | CT2 f32 | CT2 int8f32 |
|
||
|--------|------------------|---------|-------------|
|
||
| DWH | ✅ DWH | ⚠️ ДВХ | ✅ DWH |
|
||
| Teradata | ✅ TeraData | ⚠️ Тирадату | ✅ Teradata |
|
||
| NiFi | ⚠️ Найфай/Найфаю | ⚠️ Найфай | ✅ NiFi |
|
||
| FineBI | ✅ fineBI/FNBI | ✅ FNBI | ✅ finebi/FNBI |
|
||
| Alation | ✅ Allation | ✅ Allation | ✅ Allation |
|
||
| ETL | ✅ ETL | ✅ ETL | ✅ ETL |
|
||
| DBC Tables V | ✅ DBC tables-V | ✅ | ✅ |
|
||
| OpenLineage | ✅ OpenLinage.io | ✅ OpenLinage.io | ✅ OpenLinage.io |
|
||
|
||
#### Русская разговорная речь
|
||
|
||
| Фраза | whisper.cpp (CPU) | CT2 f32 | CT2 int8f32 |
|
||
|-------|------------------|---------|-------------|
|
||
| "на другую мониторочку" | ✅ "на другом мониторчике" | ✅ "мониторчику" | ⚠️ "мою точку" |
|
||
| "верхнеуровневое" | ✅ | ✅ | ✅ |
|
||
| "датарентген" | ✅ "даторентген" | ✅ "даторентген" | ✅ "даторентген" |
|
||
| "девовские схемы" | ✅ | ✅ | ✅ |
|
||
| "с накиданными правами" | ✅ | ✅ | ✅ |
|
||
| "Вьюхи" | ⚠️ "Yuhi" | ✅ "Вьюхи" | ⚠️ "Yuhi" |
|
||
|
||
#### Структура и пунктуация
|
||
|
||
| Аспект | whisper.cpp (CPU) | CT2 f32 | CT2 int8f32 |
|
||
|--------|------------------|---------|-------------|
|
||
| Пунктуация | хорошая | хорошая | хорошая |
|
||
| Длина сегментов | 1–10 сек | ~1 мин | ~1 мин |
|
||
|
||
**Вывод по качеству**: whisper.cpp medium f16 на уровне CTranslate2 float32/int8_float32.
|
||
Качество сопоставимо, различия минимальны. Сегменты короче (1–10 сек vs ~1 мин) —
|
||
это даже лучше для навигации по транскрипту.
|
||
|
||
### Блокер: Vulkan в WSL2 для AMD
|
||
|
||
Для получения GPU-ускорения нужно одно из:
|
||
|
||
1. **Нативный Linux** (dual boot / bare metal) — RADV драйвер работает с Radeon 780M
|
||
2. **Windows-сборка** — нативный Vulkan через AMD Adrenalin драйвер
|
||
3. **WSL2 + dozen** — экспериментальный Vulkan-over-D3D12 драйвер mesa.
|
||
Статус: [в разработке](https://gitlab.freedesktop.org/mesa/mesa/-/merge_requests?search=dozen),
|
||
не включён в стандартную mesa Ubuntu.
|
||
Потенциально можно собрать mesa из исходников с `-Dvulkan-drivers=microsoft-experimental`
|
||
|
||
**Рекомендация**: попробовать Windows-сборку whisper.cpp — это самый простой путь
|
||
к Vulkan + Radeon 780M. Либо собрать mesa с dozen для WSL2.
|
||
|
||
## Рекомендуемый план (обновлённый)
|
||
|
||
1. ~~**Прототип в WSL** — собрать whisper.cpp с Vulkan, прогнать тестовый файл~~ ✅ Сделано
|
||
2. **Качество подтверждено** — whisper.cpp medium f16 ≈ CT2 float32/int8_float32 ✅
|
||
3. **GPU-ускорение заблокировано в WSL2** — Vulkan не видит AMD GPU
|
||
4. **Следующий шаг**: собрать whisper.cpp на Windows с Vulkan (CMake + MSVC/MinGW)
|
||
или собрать mesa dozen для WSL2
|
||
5. После получения GPU-бенчмарка — решение о включении бэкенда `backends/whisper_cpp.py`
|
||
6. NPU — отложить до XDNA 2 или до появления pip-пакета от AMD
|