Перейти к основному содержимому

Whisper

Универсальная модель распознавания речи от OpenAI. Поддерживает 99 языков, транскрипцию, перевод на английский и определение языка. Шесть размеров модели: от tiny (39 млн параметров) до large (1550 млн параметров). Используется для преобразования речи в текст, транскрипции подкастов или обработки многоязычного аудио. Лучший выбор для надежного многоязычного ASR.

Метаданные навыка​

ИсточникОпционально — установка через vibeos skills install official/mlops/whisper
Путьoptional-skills/mlops/whisper
Версия1.0.0
АвторOrchestra Research
ЛицензияMIT
Зависимостиopenai-whisper, transformers, torch
Платформыlinux, macos
ТегиWhisper, Распознавание речи, ASR, Мультимодальность, Многоязычность, OpenAI, Речь-в-текст, Транскрипция, Перевод, Обработка аудио

Справочник: полный SKILL.md​

к сведению

Ниже приведено полное описание навыка, которое VibeOS загружает при его активации. Агент видит эти инструкции, когда навык активен.

Whisper — надежное распознавание речи

Многоязычная модель распознавания речи от OpenAI.

Когда использовать Whisper​

Используйте, когда:

  • Нужна транскрипция речи в текст (99 языков)
  • Транскрипция подкастов/видео
  • Автоматизация заметок с встреч
  • Перевод на английский
  • Транскрипция зашумленного аудио
  • Обработка многоязычного аудио

Показатели:

  • Более 72 900 звезд на GitHub
  • Поддержка 99 языков
  • Обучен на 680 000 часах аудио
  • Лицензия MIT

Альтернативы:

  • AssemblyAI: Управляемый API, диаризация дикторов
  • Deepgram: Потоковое ASR в реальном времени
  • Google Speech-to-Text: Облачное решение

Быстрый старт​

Установка​

# Требуется Python 3.8-3.11
pip install -U openai-whisper

# Требуется ffmpeg
# macOS: brew install ffmpeg
# Ubuntu: sudo apt install ffmpeg
# Windows: choco install ffmpeg

Базовая транскрипция​

import whisper

# Загрузка модели
model = whisper.load_model("base")

# Транскрипция
result = model.transcribe("audio.mp3")

# Вывод текста
print(result["text"])

# Доступ к сегментам
for segment in result["segments"]:
    print(f"[{segment['start']:.2f}s - {segment['end']:.2f}s] {segment['text']}")

Размеры моделей​

# Доступные модели
models = ["tiny", "base", "small", "medium", "large", "turbo"]

# Загрузка конкретной модели
model = whisper.load_model("turbo")  # Самая быстрая, хорошее качество
МодельПараметрыТолько английскийМногоязычнаяСкоростьVRAM
tiny39M✓✓~32x~1 ГБ
base74M✓✓~16x~1 ГБ
small244M✓✓~6x~2 ГБ
medium769M✓✓~2x~5 ГБ
large1550M✗✓1x~10 ГБ
turbo809M✗✓~8x~6 ГБ

Рекомендация: Используйте turbo для лучшего соотношения скорости и качества, base — для прототипирования.

Параметры транскрипции​

Указание языка​

# Автоопределение языка
result = model.transcribe("audio.mp3")

# Указание языка (быстрее)
result = model.transcribe("audio.mp3", language="en")

# Поддерживаемые: en, es, fr, de, it, pt, ru, ja, ko, zh и еще 89

Выбор задачи​

# Транскрипция (по умолчанию)
result = model.transcribe("audio.mp3", task="transcribe")

# Перевод на английский
result = model.transcribe("spanish.mp3", task="translate")
# Вход: испанское аудио → Выход: английский текст

Начальный промпт​

# Повышение точности с помощью контекста
result = model.transcribe(
    "audio.mp3",
    initial_prompt="Это технический подкаст о машинном обучении и ИИ."
)

# Помогает с:
# - Техническими терминами
# - Именами собственными
# - Специализированной лексикой

Временные метки​

# Временные метки на уровне слов
result = model.transcribe("audio.mp3", word_timestamps=True)

for segment in result["segments"]:
    for word in segment["words"]:
        print(f"{word['word']} ({word['start']:.2f}s - {word['end']:.2f}s)")

Понижение температуры​

# Повтор с разными температурами при низкой уверенности
result = model.transcribe(
    "audio.mp3",
    temperature=(0.0, 0.2, 0.4, 0.6, 0.8, 1.0)
)

Использование в командной строке​

# Базовая транскрипция
whisper audio.mp3

# Указание модели
whisper audio.mp3 --model turbo

# Форматы вывода
whisper audio.mp3 --output_format txt     # Простой текст
whisper audio.mp3 --output_format srt     # Субтитры
whisper audio.mp3 --output_format vtt     # WebVTT
whisper audio.mp3 --output_format json    # JSON с временными метками

# Язык
whisper audio.mp3 --language Spanish

# Перевод
whisper spanish.mp3 --task translate

Пакетная обработка​

import os

audio_files = ["file1.mp3", "file2.mp3", "file3.mp3"]

for audio_file in audio_files:
    print(f"Транскрипция {audio_file}...")
    result = model.transcribe(audio_file)

    # Сохранение в файл
    output_file = audio_file.replace(".mp3", ".txt")
    with open(output_file, "w") as f:
        f.write(result["text"])

Транскрипция в реальном времени​

# Для потокового аудио используйте faster-whisper
# pip install faster-whisper

from faster_whisper import WhisperModel

model = WhisperModel("base", device="cuda", compute_type="float16")

# Транскрипция с потоковой передачей
segments, info = model.transcribe("audio.mp3", beam_size=5)

for segment in segments:
    print(f"[{segment.start:.2f}s -> {segment.end:.2f}s] {segment.text}")

Ускорение на GPU​

import whisper

# Автоматически использует GPU, если доступен
model = whisper.load_model("turbo")

# Принудительно CPU
model = whisper.load_model("turbo", device="cpu")

# Принудительно GPU
model = whisper.load_model("turbo", device="cuda")

# В 10-20 раз быстрее на GPU

Интеграция с другими инструментами​

Создание субтитров​

# Создание SRT-субтитров
whisper video.mp4 --output_format srt --language English

# Результат: video.srt

С LangChain​

from langchain.document_loaders import WhisperTranscriptionLoader

loader = WhisperTranscriptionLoader(file_path="audio.mp3")
docs = loader.load()

# Использование транскрипции в RAG
from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings

vectorstore = Chroma.from_documents(docs, OpenAIEmbeddings())

Извлечение аудио из видео​

# Используйте ffmpeg для извлечения аудио
ffmpeg -i video.mp4 -vn -acodec pcm_s16le audio.wav

# Затем транскрипция
whisper audio.wav

Лучшие практики​

  1. Используйте модель turbo — лучшее соотношение скорости и качества для английского
  2. Указывайте язык — быстрее, чем автоопределение
  3. Добавляйте начальный промпт — улучшает распознавание технических терминов
  4. Используйте GPU — в 10-20 раз быстрее
  5. Пакетная обработка — более эффективно
  6. Конвертируйте в WAV — лучшая совместимость
  7. Разбивайте длинное аудио — фрагменты <30 минут
  8. Проверяйте поддержку языка — качество варьируется в зависимости от языка
  9. Используйте faster-whisper — в 4 раза быстрее openai-whisper
  10. Следите за VRAM — подбирайте размер модели под оборудование

Производительность​

МодельКоэффициент реального времени (CPU)Коэффициент реального времени (GPU)
tiny~0.32~0.01
base~0.16~0.01
turbo~0.08~0.01
large~1.0~0.05

Коэффициент реального времени: 0.1 = в 10 раз быстрее реального времени

Поддержка языков​

Наиболее поддерживаемые языки:

  • Английский (en)
  • Испанский (es)
  • Французский (fr)
  • Немецкий (de)
  • Итальянский (it)
  • Португальский (pt)
  • Русский (ru)
  • Японский (ja)
  • Корейский (ko)
  • Китайский (zh)

Полный список: всего 99 языков

Ограничения​

  1. Галлюцинации — может повторять или выдумывать текст
  2. Точность на длинных записях — снижается на аудио >30 минут
  3. Идентификация дикторов — отсутствует диаризация
  4. Акценты — качество варьируется
  5. Фоновый шум — может влиять на точность
  6. Задержка в реальном времени — не подходит для живых субтитров

Ресурсы​