Открытый набор инструментов для офлайн-распознавания речи и ASR в потоковом режиме, с VAD, расстановкой знаков препинания, метками говорящих и совместимым с OpenAI сервером.
openai/whisper
Универсальная модель распознавания речи: расшифровывает аудио, переводит его и определяет язык на многих языках.
- Звёзды
- 110,909
- Форки
- 13,448
- Открытые issues
- 175
- Последний коммит
- 2 месяца назад
Что это?
Whisper — модель распознавания речи с открытым исходным кодом от OpenAI, обученная на больших и разнообразных аудиоданных. Одна модель Transformer типа sequence-to-sequence поддерживает многоязычное распознавание речи, перевод речи на английский и определение языка устной речи — она может заменить несколько этапов традиционного конвейера обработки аудио.
Модель доступна в виде Python-пакета, который можно установить через pip, и CLI-инструмента `whisper`, которому для декодирования аудио нужен ffmpeg. Доступны шесть размеров модели — от `tiny` до `large`, а также модель `turbo`, оптимизированная для более быстрой расшифровки. Для моделей меньшего размера есть варианты `.en`, работающие только с английским языком. Более крупным моделям требуется больше VRAM: примерно от 1 ГБ для `tiny` до 10 ГБ для `large`.
Помимо высокоуровневого вызова transcribe, Python API предоставляет низкоуровневые функции для определения языка, создания логарифмических мел-спектрограмм и настройки параметров декодирования. Модель `turbo` не обучена переводить, поэтому для перевода следует использовать многоязычные модели `medium` или `large`.
Ключевые возможности
- 01Многоязычное распознавание речи в одной модели.
- 02Перевод речи на английский с помощью многоязычных моделей.
- 03Автоматическое определение языка устной речи.
- 04Шесть размеров модели с разным балансом точности, скорости и потребления памяти.
- 05CLI-инструмент и Python API для расшифровки речи.
Сценарии использования
- Расшифровка аудиозаписей встреч, интервью и подкастов в текст.
- Добавление субтитров к аудио- и видеоматериалам.
- Перевод речи на других языках в английский текст.
- Встраивание голосового ввода в приложения и локальные инструменты.
Быстрый старт
- 1
Установите ffmpeg с помощью системного менеджера пакетов (например, Homebrew в macOS).
brew install ffmpeg - 2
Установите Whisper из PyPI.
pip install -U openai-whisper - 3
Транскрибируйте аудиофайл из командной строки.
whisper audio.flac audio.mp3 audio.wav --model turbo
Что важно знать
- Модель turbo не обучена для перевода; для перевода речи на английский используйте medium или large.
- Для модели large требуется до примерно 10 ГБ VRAM, поэтому для более крупных моделей нужно производительное оборудование.
- Точность и скорость существенно различаются в зависимости от языка.
Темы
Частые вопросы
- Что такое whisper?
- Универсальная модель распознавания речи: расшифровывает аудио, переводит его и определяет язык на многих языках. Whisper — модель распознавания речи с открытым исходным кодом от OpenAI, обученная на больших и разнообразных аудиоданных. Одна модель Transformer типа sequence-to-sequence поддерживает многоязычное распознавание речи, перевод речи на английский и определение языка устной речи — она может заменить несколько этапов традиционного конвейера обработки аудио.
- whisper можно использовать бесплатно? Какая у него лицензия?
- whisper распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- whisper всё ещё поддерживается?
- Обновлялся за последние 6 месяцев. Последний коммит в whisper — 31 авг. 2026 г..
- Для чего можно использовать whisper?
- Расшифровка аудиозаписей встреч, интервью и подкастов в текст. Добавление субтитров к аудио- и видеоматериалам. Перевод речи на других языках в английский текст. Встраивание голосового ввода в приложения и локальные инструменты.
- Как установить whisper?
- Установите ffmpeg с помощью системного менеджера пакетов (например, Homebrew в macOS).: brew install ffmpeg Установите Whisper из PyPI.: pip install -U openai-whisper Транскрибируйте аудиофайл из командной строки.: whisper audio.flac audio.mp3 audio.wav --model turbo
- Где скачать whisper?
- Исходный код и инструкции по установке — на GitHub: https://github.com/openai/whisper
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Фреймворк с определениями современных моделей машинного обучения для текста, изображений, аудио и мультимодальных задач — для обучения и инференса.
Порт модели распознавания речи OpenAI Whisper на C/C++ для быстрого автономного преобразования речи в текст на CPU и GPU без зависимостей.
Более быстрая реализация модели распознавания речи Whisper от OpenAI на движке инференса CTranslate2 с меньшим потреблением памяти и 8-битным квантованием.
Распознавание речи с открытым исходным кодом на базе Whisper: точные временные метки для каждого слова и опциональная диаризация говорящих.
Десктопное приложение для офлайн-транскрибации и перевода аудио и видео на компьютере на основе OpenAI Whisper.