microsoft/VibeVoice

Что это?

Ключевые возможности

• 01Распознаёт до 60 минут аудио за один проход, указывая говорящих и временные метки.
• 02Поддерживает пользовательские ключевые слова, чтобы точнее распознавать специализированную лексику.
• 03Поддерживает потоковое распознавание речи с выдачей текста для каждого аудиофрагмента.
• 04Генерирует разговорную речь с участием до четырёх голосов длительностью до 90 минут.
• 05Предлагает модель TTS размером 0,5B для работы в реальном времени, принимающую текст потоком.
• 06Включает код для дообучения ASR и поддержку инференса через vLLM.

Сценарии использования

• Расшифровка длинных совещаний, интервью и подкастов с указанием говорящих.
• Создание подкастов с несколькими голосами по текстовому сценарию.
• Разработка голосовых помощников с низкой задержкой, преобразующих поступающий потоком текст в речь.
• Эксперименты с распознаванием речи и дообучением на собственных данных.

Быстрый старт

1. 1

   Откройте блокнот Colab для модели потокового TTS в реальном времени

2. 2

   Попробуйте модель ASR в онлайн-версии Playground

Что важно знать

• !В README указано, что модели предназначены только для исследований и разработок, а их коммерческое использование без дополнительных испытаний не рекомендуется.
• !Код VibeVoice-TTS удалили из этого репозитория после обнаружения случаев неправомерного использования.
• !В README предупреждают, что результаты могут быть неточными или предвзятыми, а модели могут использоваться не по назначению для создания дипфейков.

Темы

Частые вопросы

Что такое VibeVoice?

Семейство open-source голосовых AI-моделей Microsoft: распознавание длинной речи (ASR), многоязычная по говорящим генерация речи (TTS) и потоковый TTS в реальном времени. VibeVoice — семейство open-source голосовых AI-моделей Microsoft для преобразования речи в текст и текста в речь. ASR-модель VibeVoice-ASR распознаёт до 60 минут аудио за один проход и определяет, кто, когда и что сказал. Также поддерживаются пользовательские ключевые слова и потоковое распознавание.

VibeVoice можно использовать бесплатно? Какая у него лицензия?

VibeVoice распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

VibeVoice всё ещё поддерживается?

Активно поддерживается. Последний коммит в VibeVoice — 8 окт. 2026 г..

Для чего можно использовать VibeVoice?

Расшифровка длинных совещаний, интервью и подкастов с указанием говорящих. Создание подкастов с несколькими голосами по текстовому сценарию. Разработка голосовых помощников с низкой задержкой, преобразующих поступающий потоком текст в речь. Эксперименты с распознаванием речи и дообучением на собственных данных.

Как установить VibeVoice?

Откройте блокнот Colab для модели потокового TTS в реальном времени Попробуйте модель ASR в онлайн-версии Playground

Где скачать VibeVoice?

Исходный код и инструкции по установке — на GitHub: https://github.com/microsoft/VibeVoice