m-bain/whisperX

Что это?

Ключевые возможности

• 01Пакетное распознавание Whisper с бэкендом faster-whisper для ускорения транскрибирования.
• 02Временные метки для каждого слова, полученные с помощью принудительного выравнивания на базе wav2vec2.
• 03Диаризация говорящих с присвоением ID с помощью pyannote-audio.
• 04Предварительная обработка с обнаружением голосовой активности для снижения числа галлюцинаций.
• 05Интерфейсы командной строки и Python, поддержка CPU и GPU с CUDA.

Сценарии использования

• Создание субтитров (SRT) с точной привязкой слов ко времени по записанным видео или аудио.
• Транскрибирование встреч и интервью с несколькими участниками и маркировкой говорящих.
• Создание речевых датасетов и исследовательских конвейеров, которым нужны выровненные транскрипции.
• Транскрибирование аудио на других языках с использованием специализированных моделей выравнивания.

Быстрый старт

1. 1

   Сначала установите CUDA Toolkit 12.8 (пропустите этот шаг, если используете только CPU)

2. 2

   Установите WhisperX из PyPI

   pip install whisperx
3. 3

   Расшифруйте аудиофайл

   whisperx path/to/audio.wav

Что важно знать

• !Для быстрой работы на GPU требуется видеокарта NVIDIA с CUDA 12.8; при запуске на CPU необходим тип вычислений int8.
• !Для диаризации нужен токен Hugging Face и согласие с пользовательским соглашением модели pyannote.
• !Для слов с символами, отсутствующими в словаре модели выравнивания (например, чисел со знаками), время не будет указано.
• !Для других языков нужна модель фонемного выравнивания, предназначенная для конкретного языка.

Темы

Частые вопросы

Что такое whisperX?

Распознавание речи с открытым исходным кодом на базе Whisper: точные временные метки для каждого слова и опциональная диаризация говорящих. WhisperX — инструмент на Python для автоматического распознавания речи. Он дополняет OpenAI Whisper пакетной обработкой и использует бэкенд faster-whisper. Сам Whisper расставляет временные метки для целых реплик, причём они могут ошибаться на несколько секунд; WhisperX добавляет этап принудительного выравнивания на базе wav2vec2, чтобы точно определить время каждого слова.

whisperX можно использовать бесплатно? Какая у него лицензия?

whisperX распространяется с открытым исходным кодом под лицензией BSD-2-Clause. Перед использованием в коммерческих продуктах проверьте условия лицензии.

whisperX всё ещё поддерживается?

Активно поддерживается. Последний коммит в whisperX — 18 окт. 2026 г..

Для чего можно использовать whisperX?

Создание субтитров (SRT) с точной привязкой слов ко времени по записанным видео или аудио. Транскрибирование встреч и интервью с несколькими участниками и маркировкой говорящих. Создание речевых датасетов и исследовательских конвейеров, которым нужны выровненные транскрипции. Транскрибирование аудио на других языках с использованием специализированных моделей выравнивания.

Как установить whisperX?

Сначала установите CUDA Toolkit 12.8 (пропустите этот шаг, если используете только CPU) Установите WhisperX из PyPI: pip install whisperx Расшифруйте аудиофайл: whisperx path/to/audio.wav

Где скачать whisperX?

Исходный код и инструкции по установке — на GitHub: https://github.com/m-bain/whisperX