From 8ae74d2748236cd6313a3e353efa4f647675f745 Mon Sep 17 00:00:00 2001 From: Dmitriy Dementiev Date: Tue, 24 Mar 2026 11:00:31 +0300 Subject: [PATCH] =?UTF-8?q?docs(gpu):=20=D0=BF=D0=BE=D1=82=D0=B5=D0=BD?= =?UTF-8?q?=D1=86=D0=B8=D0=B0=D0=BB=D1=8C=D0=BD=D1=8B=D0=B5=20=D0=BD=D0=B0?= =?UTF-8?q?=D0=BF=D1=80=D0=B0=D0=B2=D0=BB=D0=B5=D0=BD=D0=B8=D1=8F=20?= =?UTF-8?q?=E2=80=94=20quality=20pipeline=20=D0=B4=D0=BB=D1=8F=20OpenVINO,?= =?UTF-8?q?=20CUDA=20int8=5Ffloat32?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Зафиксированы два направления развития: - temperature fallback и фильтры галлюцинаций для OpenVINO бэкенда - тестирование int8_float32/int8_float16 на CUDA Co-Authored-By: Claude Opus 4.6 (1M context) --- docs/gpu.md | 19 +++++++++++++++++++ 1 file changed, 19 insertions(+) diff --git a/docs/gpu.md b/docs/gpu.md index 55ff673..6fb0dbe 100644 --- a/docs/gpu.md +++ b/docs/gpu.md @@ -222,6 +222,25 @@ SQL, PostgreSQL, Greenplum, Airflow, ClickHouse, Docker, CDR, GTP, MAP). 6. **OpenVINO быстрее, но CPU бэкенд качественнее** — разница в pipeline декодирования (temperature fallback, фильтры галлюцинаций), а не в квантизации +## Потенциальные направления развития + +### Качественный pipeline для OpenVINO + +Сейчас качественный pipeline декодирования (temperature fallback, фильтры галлюцинаций, +VAD) доступен только через CTranslate2, т.е. на CPU и NVIDIA CUDA. Пользователи Intel Arc +и AMD Radeon получают скорость OpenVINO, но без защиты от галлюцинаций. + +**Решение**: реализовать temperature fallback, compression_ratio и log_prob фильтры +поверх OpenVINO GenAI WhisperPipeline. Эти эвристики — логика на Python (~50-100 строк), +не зависящая от inference engine. Это даст Intel Arc / AMD GPU то же качество, +что сейчас есть только у CUDA-пользователей. + +### CUDA: тестирование int8_float32 / int8_float16 + +На CPU `int8_float32` показал качество на уровне float32 при 1.5x ускорении. +На CUDA аналогичный эффект может решить проблему галлюцинаций large-v3 с int8 +при сохранении скорости GPU. Требуется тестирование на реальном NVIDIA GPU. + ## Troubleshooting ### CUDA не обнаружен