docs: результаты тестов на 3 CPU + инструкция очистки моделей
- Зачем: - сводка бенчмарков OpenVINO на Intel Ultra 7, AMD Ryzen 7, Intel i7. - пользователям нужна инструкция по управлению дисковым пространством моделей. - Что: - docs/gpu.md: полная таблица скорости по 3 CPU, small/medium/large-v3. - docs/gpu.md: рекомендации по выбору модели для разных сценариев. - README.md: секция очистки моделей (Linux + Windows PowerShell). - README.md: troubleshooting WinError 1314 (симлинки на Windows). - Проверка: - uv run pytest -q — 124 passed. Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
This commit is contained in:
@@ -63,6 +63,41 @@ uv tool install --force git+https://github.com/dementev-dev/local-transcriber
|
|||||||
uv tool uninstall local-transcriber
|
uv tool uninstall local-transcriber
|
||||||
```
|
```
|
||||||
|
|
||||||
|
**Очистка моделей:**
|
||||||
|
|
||||||
|
Модели кешируются в `~/.cache/huggingface/hub/` и могут занимать несколько гигабайт.
|
||||||
|
На Windows без Developer Mode файлы копируются без симлинков — место удваивается.
|
||||||
|
|
||||||
|
```bash
|
||||||
|
# Linux / macOS — посмотреть размер кеша
|
||||||
|
du -sh ~/.cache/huggingface/hub/models--*
|
||||||
|
|
||||||
|
# Удалить все скачанные модели
|
||||||
|
rm -rf ~/.cache/huggingface/hub/models--Systran--faster-whisper-*
|
||||||
|
rm -rf ~/.cache/huggingface/hub/models--OpenVINO--whisper-*
|
||||||
|
```
|
||||||
|
|
||||||
|
```powershell
|
||||||
|
# Windows
|
||||||
|
dir "$env:USERPROFILE\.cache\huggingface\hub\models--*"
|
||||||
|
|
||||||
|
# Удалить все скачанные модели
|
||||||
|
Remove-Item -Recurse "$env:USERPROFILE\.cache\huggingface\hub\models--Systran--faster-whisper-*"
|
||||||
|
Remove-Item -Recurse "$env:USERPROFILE\.cache\huggingface\hub\models--OpenVINO--whisper-*"
|
||||||
|
```
|
||||||
|
|
||||||
|
При следующем запуске нужная модель скачается заново.
|
||||||
|
|
||||||
|
<details>
|
||||||
|
<summary>Windows: ошибка WinError 1314 при первом запуске</summary>
|
||||||
|
|
||||||
|
HuggingFace Hub использует симлинки для экономии места. На Windows без Developer Mode первая загрузка модели может упасть с ошибкой `WinError 1314`. Повторный запуск команды обычно помогает — HF Hub переключается на копирование файлов.
|
||||||
|
|
||||||
|
Чтобы избежать проблемы и сэкономить место, включите Developer Mode:
|
||||||
|
[Инструкция Microsoft](https://docs.microsoft.com/en-us/windows/apps/get-started/enable-your-device-for-development)
|
||||||
|
|
||||||
|
</details>
|
||||||
|
|
||||||
## Использование
|
## Использование
|
||||||
|
|
||||||
```bash
|
```bash
|
||||||
|
|||||||
+27
-15
@@ -41,28 +41,38 @@ OpenVINO ускоряет inference на x86 процессорах (Intel и AM
|
|||||||
|
|
||||||
Реальные записи рабочих созвонов (русский, техтермины: SQL, PostgreSQL, LDAP, DLP и др.).
|
Реальные записи рабочих созвонов (русский, техтермины: SQL, PostgreSQL, LDAP, DLP и др.).
|
||||||
|
|
||||||
**Скорость:**
|
**Скорость (эталонный файл 16 мин, OpenVINO, medium int8):**
|
||||||
|
|
||||||
| Конфигурация | Intel i7 (WSL2) | AMD Ryzen 7 8845H | CPU float32 |
|
| CPU | medium int8 | large-v3 fp16 | CPU float32 (baseline) |
|
||||||
|---|---|---|---|
|
|---|---|---|---|
|
||||||
| OpenVINO medium int8, 16 мин | 171-205с | **185с** | 658-734с |
|
| Intel Ultra 7 255H | **122с** | **411с** | — |
|
||||||
| OpenVINO medium int8, 42 мин | 413с (6.9 мин) | — | — |
|
| AMD Ryzen 7 8845H | 185с | 416с | 734с |
|
||||||
| OpenVINO large-v3 fp16, 16 мин | — | **416с** | — |
|
| Intel i7 (WSL2) | 171-205с | — | 658с |
|
||||||
|
|
||||||
**Ускорение vs CPU:** **3-4x** на обоих процессорах (Intel и AMD).
|
**Ускорение vs CPU float32:** **3-6x** в зависимости от CPU.
|
||||||
|
|
||||||
**Качество (сравнение на одном файле, 16 мин, AMD Ryzen 7 8845H):**
|
**OpenVINO small int8 (Intel i7 WSL2):**
|
||||||
|
|
||||||
| | OpenVINO medium int8 | OpenVINO large-v3 fp16 | CPU medium float32 |
|
| Файл | small int8 | medium int8 |
|
||||||
|
|---|---|---|
|
||||||
|
| 16 мин | 93с | 171с |
|
||||||
|
| 42 мин | 153с (~16x реалтайм) | 413с |
|
||||||
|
|
||||||
|
**Качество (сравнение на одном файле, 16 мин, OpenVINO int8/fp16, Intel CPU):**
|
||||||
|
|
||||||
|
| | small int8 | medium int8 | large-v3 fp16 |
|
||||||
|---|---|---|---|
|
|---|---|---|---|
|
||||||
| Время | 185с | 416с | 734с |
|
| Время (16 мин) | **93с** | 171с | 416с |
|
||||||
| Техтермины | корректно | корректно | корректно |
|
| Время (42 мин) | **153с** | 413с | — |
|
||||||
|
| Ключевые слова | искажения ("бокап", "рецензия") | единичные ляпы | корректно |
|
||||||
|
| Пунктуация | слабая | базовая | хорошая |
|
||||||
| Галлюцинации | нет | нет | нет |
|
| Галлюцинации | нет | нет | нет |
|
||||||
| Характерные ошибки | "Атака новенького" (вместо "а так, новенького") | — | те же ошибки, что medium int8 |
|
|
||||||
| Пунктуация | базовая | заметно лучше | базовая |
|
|
||||||
|
|
||||||
`large-v3` на OpenVINO качественнее `medium`, но в 2.2 раза медленнее. При этом `large-v3` на OpenVINO (416с)
|
### Рекомендации по выбору модели
|
||||||
быстрее, чем `medium` на чистом CPU (734с) — можно получить и лучшее качество, и выше скорость.
|
|
||||||
|
- **small** — для быстрого сканирования большого объёма видео по маске (`*.mp4`). Ошибки в отдельных словах; для обработки ИИ (МОМ, конспект) рискованно — "рецензия" вместо "лицензия" может исказить смысл.
|
||||||
|
- **medium** — для повседневного использования и обработки ИИ. Ключевые термины верные, единичные ляпы не влияют на смысл конспекта. Оптимальный баланс скорости и качества.
|
||||||
|
- **large-v3** — для важных записей, где нужна дословная точность. Лучшая пунктуация и связность. На OpenVINO (416с) быстрее, чем medium на чистом CPU (734с) — лучшее качество при выше скорости.
|
||||||
|
|
||||||
## Настройка по платформам
|
## Настройка по платформам
|
||||||
|
|
||||||
@@ -99,7 +109,9 @@ winget install -e --id Nvidia.CUDA --version 12.9 # требует запус
|
|||||||
|-------------|-------------|-------------|---------------|
|
|-------------|-------------|-------------|---------------|
|
||||||
| GPU + medium float16 | ~35с | ~133с | ~19x реалтайм |
|
| GPU + medium float16 | ~35с | ~133с | ~19x реалтайм |
|
||||||
| GPU + large-v3 float16 | ~90с | ~350с | ~7x реалтайм |
|
| GPU + large-v3 float16 | ~90с | ~350с | ~7x реалтайм |
|
||||||
| **OpenVINO + medium int8** | **171-205с** | **413с (6.9 мин)** | **~4-6x реалтайм** |
|
| **OpenVINO + small int8** | **93с** | **153с** | **~10-16x реалтайм** |
|
||||||
|
| **OpenVINO + medium int8** | **171-205с** | **413с** | **~4-6x реалтайм** |
|
||||||
|
| **OpenVINO + large-v3 fp16** | **416с** | — | **~2.3x реалтайм** |
|
||||||
| CPU + medium float32 | 658с (11 мин) | ~26 мин | ~1.5x реалтайм |
|
| CPU + medium float32 | 658с (11 мин) | ~26 мин | ~1.5x реалтайм |
|
||||||
| CPU + large-v3 int8 | 839с (14 мин) | ~37 мин | ~1:1 реалтайм |
|
| CPU + large-v3 int8 | 839с (14 мин) | ~37 мин | ~1:1 реалтайм |
|
||||||
|
|
||||||
|
|||||||
Reference in New Issue
Block a user