From f5345031efca51bfe79dc3127f545acb52a2d11a Mon Sep 17 00:00:00 2001 From: Dmitry Dementev Date: Sun, 22 Mar 2026 11:50:34 +0300 Subject: [PATCH] =?UTF-8?q?docs:=20=D1=80=D0=B5=D0=B7=D1=83=D0=BB=D1=8C?= =?UTF-8?q?=D1=82=D0=B0=D1=82=D1=8B=20=D1=82=D0=B5=D1=81=D1=82=D0=BE=D0=B2?= =?UTF-8?q?=20=D0=BD=D0=B0=203=20CPU=20+=20=D0=B8=D0=BD=D1=81=D1=82=D1=80?= =?UTF-8?q?=D1=83=D0=BA=D1=86=D0=B8=D1=8F=20=D0=BE=D1=87=D0=B8=D1=81=D1=82?= =?UTF-8?q?=D0=BA=D0=B8=20=D0=BC=D0=BE=D0=B4=D0=B5=D0=BB=D0=B5=D0=B9?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - Зачем: - сводка бенчмарков OpenVINO на Intel Ultra 7, AMD Ryzen 7, Intel i7. - пользователям нужна инструкция по управлению дисковым пространством моделей. - Что: - docs/gpu.md: полная таблица скорости по 3 CPU, small/medium/large-v3. - docs/gpu.md: рекомендации по выбору модели для разных сценариев. - README.md: секция очистки моделей (Linux + Windows PowerShell). - README.md: troubleshooting WinError 1314 (симлинки на Windows). - Проверка: - uv run pytest -q — 124 passed. Co-Authored-By: Claude Opus 4.6 (1M context) --- README.md | 35 +++++++++++++++++++++++++++++++++++ docs/gpu.md | 42 +++++++++++++++++++++++++++--------------- 2 files changed, 62 insertions(+), 15 deletions(-) diff --git a/README.md b/README.md index 2f7a7b0..f71e2c8 100644 --- a/README.md +++ b/README.md @@ -63,6 +63,41 @@ uv tool install --force git+https://github.com/dementev-dev/local-transcriber uv tool uninstall local-transcriber ``` +**Очистка моделей:** + +Модели кешируются в `~/.cache/huggingface/hub/` и могут занимать несколько гигабайт. +На Windows без Developer Mode файлы копируются без симлинков — место удваивается. + +```bash +# Linux / macOS — посмотреть размер кеша +du -sh ~/.cache/huggingface/hub/models--* + +# Удалить все скачанные модели +rm -rf ~/.cache/huggingface/hub/models--Systran--faster-whisper-* +rm -rf ~/.cache/huggingface/hub/models--OpenVINO--whisper-* +``` + +```powershell +# Windows +dir "$env:USERPROFILE\.cache\huggingface\hub\models--*" + +# Удалить все скачанные модели +Remove-Item -Recurse "$env:USERPROFILE\.cache\huggingface\hub\models--Systran--faster-whisper-*" +Remove-Item -Recurse "$env:USERPROFILE\.cache\huggingface\hub\models--OpenVINO--whisper-*" +``` + +При следующем запуске нужная модель скачается заново. + +
+Windows: ошибка WinError 1314 при первом запуске + +HuggingFace Hub использует симлинки для экономии места. На Windows без Developer Mode первая загрузка модели может упасть с ошибкой `WinError 1314`. Повторный запуск команды обычно помогает — HF Hub переключается на копирование файлов. + +Чтобы избежать проблемы и сэкономить место, включите Developer Mode: +[Инструкция Microsoft](https://docs.microsoft.com/en-us/windows/apps/get-started/enable-your-device-for-development) + +
+ ## Использование ```bash diff --git a/docs/gpu.md b/docs/gpu.md index b26fec0..b60fe47 100644 --- a/docs/gpu.md +++ b/docs/gpu.md @@ -41,28 +41,38 @@ OpenVINO ускоряет inference на x86 процессорах (Intel и AM Реальные записи рабочих созвонов (русский, техтермины: SQL, PostgreSQL, LDAP, DLP и др.). -**Скорость:** +**Скорость (эталонный файл 16 мин, OpenVINO, medium int8):** -| Конфигурация | Intel i7 (WSL2) | AMD Ryzen 7 8845H | CPU float32 | +| CPU | medium int8 | large-v3 fp16 | CPU float32 (baseline) | |---|---|---|---| -| OpenVINO medium int8, 16 мин | 171-205с | **185с** | 658-734с | -| OpenVINO medium int8, 42 мин | 413с (6.9 мин) | — | — | -| OpenVINO large-v3 fp16, 16 мин | — | **416с** | — | +| Intel Ultra 7 255H | **122с** | **411с** | — | +| AMD Ryzen 7 8845H | 185с | 416с | 734с | +| Intel i7 (WSL2) | 171-205с | — | 658с | -**Ускорение vs CPU:** **3-4x** на обоих процессорах (Intel и AMD). +**Ускорение vs CPU float32:** **3-6x** в зависимости от CPU. -**Качество (сравнение на одном файле, 16 мин, AMD Ryzen 7 8845H):** +**OpenVINO small int8 (Intel i7 WSL2):** -| | OpenVINO medium int8 | OpenVINO large-v3 fp16 | CPU medium float32 | +| Файл | small int8 | medium int8 | +|---|---|---| +| 16 мин | 93с | 171с | +| 42 мин | 153с (~16x реалтайм) | 413с | + +**Качество (сравнение на одном файле, 16 мин, OpenVINO int8/fp16, Intel CPU):** + +| | small int8 | medium int8 | large-v3 fp16 | |---|---|---|---| -| Время | 185с | 416с | 734с | -| Техтермины | корректно | корректно | корректно | +| Время (16 мин) | **93с** | 171с | 416с | +| Время (42 мин) | **153с** | 413с | — | +| Ключевые слова | искажения ("бокап", "рецензия") | единичные ляпы | корректно | +| Пунктуация | слабая | базовая | хорошая | | Галлюцинации | нет | нет | нет | -| Характерные ошибки | "Атака новенького" (вместо "а так, новенького") | — | те же ошибки, что medium int8 | -| Пунктуация | базовая | заметно лучше | базовая | -`large-v3` на OpenVINO качественнее `medium`, но в 2.2 раза медленнее. При этом `large-v3` на OpenVINO (416с) -быстрее, чем `medium` на чистом CPU (734с) — можно получить и лучшее качество, и выше скорость. +### Рекомендации по выбору модели + +- **small** — для быстрого сканирования большого объёма видео по маске (`*.mp4`). Ошибки в отдельных словах; для обработки ИИ (МОМ, конспект) рискованно — "рецензия" вместо "лицензия" может исказить смысл. +- **medium** — для повседневного использования и обработки ИИ. Ключевые термины верные, единичные ляпы не влияют на смысл конспекта. Оптимальный баланс скорости и качества. +- **large-v3** — для важных записей, где нужна дословная точность. Лучшая пунктуация и связность. На OpenVINO (416с) быстрее, чем medium на чистом CPU (734с) — лучшее качество при выше скорости. ## Настройка по платформам @@ -99,7 +109,9 @@ winget install -e --id Nvidia.CUDA --version 12.9 # требует запус |-------------|-------------|-------------|---------------| | GPU + medium float16 | ~35с | ~133с | ~19x реалтайм | | GPU + large-v3 float16 | ~90с | ~350с | ~7x реалтайм | -| **OpenVINO + medium int8** | **171-205с** | **413с (6.9 мин)** | **~4-6x реалтайм** | +| **OpenVINO + small int8** | **93с** | **153с** | **~10-16x реалтайм** | +| **OpenVINO + medium int8** | **171-205с** | **413с** | **~4-6x реалтайм** | +| **OpenVINO + large-v3 fp16** | **416с** | — | **~2.3x реалтайм** | | CPU + medium float32 | 658с (11 мин) | ~26 мин | ~1.5x реалтайм | | CPU + large-v3 int8 | 839с (14 мин) | ~37 мин | ~1:1 реалтайм |