ddmitry/local-transcriber
1
0
Fork 0
Code Issues 6 Pull Requests Actions Packages Projects Releases Wiki Activity
43 Commits 4 Branches 0 Tags
feature/amd-acceleration
Commit Graph
7 Commits
This Branch
This Branch
All Branches
Author SHA1 Message Date
Dmitriy DementievandClaude Opus 4.6 fe11e7ed23 feat(openvino): добавить medium fp16 модель как опцию 
OpenVINO/whisper-medium-fp16-ov доступна через --compute-type fp16.
На CPU fp16 эмулируется программно (медленно), но на Intel Arc GPU
даёт аппаратное ускорение через XMX. Не меняет дефолты.

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
 2026-03-24 09:46:04 +03:00
Dmitriy DementievandClaude Opus 4.6 104b0f695c docs: результаты оптимизации потоков CT2 int8_float32 
8 потоков (физические ядра) — оптимум: 458с vs 599с (дефолт 4 потока).
16 потоков (SMT) хуже: 498с. CT2 int8_float32 с 8 потоками почти
догоняет whisper.cpp Vulkan (458с vs 432с) без доп. зависимостей.

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
 2026-03-24 09:05:15 +03:00
Dmitriy DementievandClaude Opus 4.6 9a289bd59e docs: результаты whisper.cpp + Vulkan на Radeon 780M 
432с — 2x vs CPU, но всего 28% быстрее CT2 int8_float32.
Зацикливание при дефолтных параметрах, workaround -mc 0.
Вывод: сложность интеграции не оправдана, CT2 int8_float32 — оптимум.

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
 2026-03-23 23:23:58 +03:00
Dmitriy DementievandClaude Opus 4.6 2a7d3605e7 docs: детали интеграции whisper.cpp + Vulkan 
Модели (GGML формат), сборка, Python-биндинги, subprocess-подход.
Следующий шаг — прототип в WSL.

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
 2026-03-23 16:45:14 +03:00
Dmitriy DementievandClaude Opus 4.6 78cd8b42ad docs: исследование ускорения на AMD Radeon/NPU 
DirectML заблокирован (missing operator, maintenance mode).
whisper.cpp + Vulkan — основной путь (3-4x на Radeon 780M).
AMD NPU (XDNA 1) — рано, ждём XDNA 2 и зрелый tooling.

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
 2026-03-23 16:23:02 +03:00
Dmitriy DementievandClaude Opus 4.6 2a2f6666cf docs: бенчмарк качества транскрипции (2026-03-23) 
Детальное сравнение medium/large-v3 × OpenVINO/CTranslate2/Whisper.ai
на записи совещания 14:41, русский язык, AMD Ryzen 7 8845H.
Рабочий документ для разработки AMD-ускорения.

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
 2026-03-23 15:58:48 +03:00
Dmitriy DementievandClaude Opus 4.6 6f7e61c779 docs(adr): ADR-004 — дефолты compute_type и стратегия ускорения 
Бенчмарк показал: OpenVINO fp16 даёт 3.7x ускорение, но теряет качество
на русской разговорной речи. CTranslate2 int8_float32 — оптимальный баланс.
Следующий шаг — DirectML бэкенд для AMD Radeon iGPU.

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
 2026-03-23 15:58:12 +03:00