ddadminandClaude Opus 4.6
857267763c
- Зачем:
- CTranslate2 по умолчанию использует 4 потока; на многоядерных CPU (8+ ядер)
это неоптимально — --threads 8 даёт +13% ускорения.
- Не было данных по int8_float32/int8_float16 на NVIDIA GPU.
- Что:
- --threads / -t: новый CLI-флаг, пробрасывается через load_model →
backend.create_model(cpu_threads=...) → WhisperModel(cpu_threads=...).
- Валидация min=0 на входе (typer), Backend протокол синхронизирован.
- docs/gpu.md: результаты бенчмарка 6 комбинаций CUDA compute_type
(medium/large-v3 × float16/int8_float32/int8_float16) на двух файлах
(16 мин и 46 мин). Ключевой вывод: float16 — оптимальный дефолт;
large-v3 ненадёжен на длинных записях.
- README: --threads добавлен в таблицу опций.
- Фикс теста: test_resolve_repo_explicit_unsupported_pair_raises обновлён
под добавление medium fp16 модели.
- Проверка:
- uv run pytest: 157 passed.
- transcribe file.mp4 --device cpu --threads 8: 277с vs 320с (дефолт).
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
51 lines
1.5 KiB
Python
51 lines
1.5 KiB
Python
"""Протокол бэкенда транскрипции."""
|
|
|
|
from __future__ import annotations
|
|
|
|
from collections.abc import Callable
|
|
from pathlib import Path
|
|
from typing import Any, Protocol
|
|
|
|
from local_transcriber.types import Segment, TranscribeResult
|
|
|
|
|
|
class Backend(Protocol):
|
|
"""Минимальный интерфейс бэкенда транскрипции.
|
|
|
|
Бэкенды реализуют этот протокол (structural typing) —
|
|
наследование не требуется.
|
|
"""
|
|
|
|
def ensure_model_available(
|
|
self,
|
|
model_name: str,
|
|
compute_type: str,
|
|
on_status: Callable[[str], None] | None = None,
|
|
) -> str:
|
|
"""Гарантирует наличие модели, возвращает путь к файлам."""
|
|
...
|
|
|
|
def create_model(
|
|
self,
|
|
model_path: str,
|
|
device: str,
|
|
compute_type: str,
|
|
cpu_threads: int = 0,
|
|
) -> Any:
|
|
"""Создаёт модель. Возвращает backend-специфичный объект.
|
|
|
|
cpu_threads: число потоков для CPU inference (0 = дефолт библиотеки).
|
|
"""
|
|
...
|
|
|
|
def transcribe(
|
|
self,
|
|
model: Any,
|
|
file_path: Path,
|
|
language: str | None,
|
|
on_segment: Callable[[Segment], None] | None = None,
|
|
on_status: Callable[[str], None] | None = None,
|
|
) -> TranscribeResult:
|
|
"""Транскрибирует файл, возвращает результат."""
|
|
...
|