Toolkit de código abierto de NVIDIA para crear, ajustar y desplegar modelos de IA de voz, incluidos reconocimiento de voz (ASR), texto a voz (TTS) y LLM de voz.
18,6 mil3,7 milPythonApache-2.0Actualizado hace 10 horas
microsoft/VibeVoice
Familia open source de modelos de voz con IA de Microsoft: reconocimiento de voz de larga duración (ASR), text-to-speech (TTS) para varios hablantes y TTS en streaming en tiempo real.
- Estrellas
- 54,889
- Forks
- 6,175
- Issues abiertos
- 201
- Último commit
- hace 12 días
¿Qué es?
VibeVoice es una familia open source de modelos de voz con IA de Microsoft que abarca tanto la conversión de voz a texto como de texto a voz. Su modelo ASR, VibeVoice-ASR, transcribe hasta 60 minutos de audio en una sola pasada e indica quién habló, cuándo y qué dijo, con compatibilidad con hotwords personalizadas y reconocimiento en streaming.
Para la generación de voz, VibeVoice-TTS sintetiza audio conversacional de hasta 90 minutos con hasta cuatro hablantes distintos, y VibeVoice-Realtime-0.5B es un modelo ligero que acepta texto en streaming para generar voz con baja latencia. Los modelos usan tokenizadores de voz continua que funcionan a 7.5 Hz, combinados con un modelo de lenguaje y un cabezal de difusión.
El repositorio también incluye un flujo de fine-tuning para el modelo ASR, serving basado en vLLM y una variante de ASR BitNet orientada a CPU. Los pesos están publicados en Hugging Face y el proyecto indica que está destinado a investigación y desarrollo.
Funciones clave
- 01Transcribe hasta 60 minutos de audio en una sola pasada, con etiquetas de hablantes y marcas de tiempo.
- 02Admite hotwords personalizadas para mejorar el reconocimiento de términos específicos de un dominio.
- 03Ofrece reconocimiento de voz en streaming que genera texto por cada fragmento de audio.
- 04Genera voz conversacional para varios hablantes de hasta 90 minutos, con hasta cuatro hablantes.
- 05Ofrece un modelo TTS en tiempo real de 0.5B que acepta texto en streaming.
- 06Incluye código para hacer fine-tuning de ASR y compatibilidad con inferencia mediante vLLM.
Casos de uso
- Transcribir reuniones, entrevistas o podcasts largos e identificar a cada hablante.
- Generar audio al estilo de un podcast con varios hablantes a partir de guiones.
- Crear asistentes de voz de baja latencia que conviertan texto en voz en streaming.
- Realizar experimentos de reconocimiento de voz con fine-tuning sobre datos personalizados.
Inicio rápido
- 1
Abre el cuaderno de Colab del modelo TTS de streaming en tiempo real
- 2
Prueba el modelo ASR en el Playground en línea
Antes de usarlo
- El README indica que los modelos están destinados únicamente a la investigación y el desarrollo, y que no se recomienda su uso comercial sin realizar más pruebas.
- El código de VibeVoice-TTS se eliminó de este repositorio tras detectarse un uso indebido.
- El README advierte que los resultados pueden ser inexactos o estar sesgados, y que los modelos pueden utilizarse indebidamente para crear deepfakes.
Temas
Preguntas frecuentes
- ¿Qué es VibeVoice?
- Familia open source de modelos de voz con IA de Microsoft: reconocimiento de voz de larga duración (ASR), text-to-speech (TTS) para varios hablantes y TTS en streaming en tiempo real. VibeVoice es una familia open source de modelos de voz con IA de Microsoft que abarca tanto la conversión de voz a texto como de texto a voz. Su modelo ASR, VibeVoice-ASR, transcribe hasta 60 minutos de audio en una sola pasada e indica quién habló, cuándo y qué dijo, con compatibilidad con hotwords personalizadas y reconocimiento en streaming.
- ¿VibeVoice es gratuito? ¿Qué licencia tiene?
- VibeVoice es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿VibeVoice sigue mantenido?
- Mantenimiento activo. El último commit de VibeVoice fue el 8 oct 2026.
- ¿Para qué puedo usar VibeVoice?
- Transcribir reuniones, entrevistas o podcasts largos e identificar a cada hablante. Generar audio al estilo de un podcast con varios hablantes a partir de guiones. Crear asistentes de voz de baja latencia que conviertan texto en voz en streaming. Realizar experimentos de reconocimiento de voz con fine-tuning sobre datos personalizados.
- ¿Cómo se instala VibeVoice?
- Abre el cuaderno de Colab del modelo TTS de streaming en tiempo real Prueba el modelo ASR en el Playground en línea
- ¿Dónde consigo VibeVoice?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/microsoft/VibeVoice
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Soprano es un modelo de texto a voz ultraligero que se ejecuta en el dispositivo, compatible con CUDA, CPU y MPS, y con salida en streaming.
1,6 mil138PythonApache-2.0Actualizado hace 9 meses
Sistema de texto a voz zero-shot que clona una voz a partir de un único audio de referencia y permite controlar la emoción, la velocidad y la pronunciación.
24,6 mil2,9 milPythonOtherActualizado hace 21 días
Biblioteca de inferencia en Python para Kokoro-82M, un modelo de texto a voz de pesos abiertos con 82 millones de parámetros.
9,5 mil1,1 milJavaScriptApache-2.0Actualizado el año pasado
Sistema open source de texto a voz con clonación de voz, control de emociones en lenguaje natural y generación multivoz, basado en modelos de tipo LLM.
33,3 mil2,9 milPythonOtherActualizado hace 6 días
Familia de modelos de texto a voz de código abierto de Resemble AI, con clonación de voz a partir de un breve clip de referencia en inglés y muchos otros idiomas.
27,1 mil3,6 milPythonMITActualizado hace 3 meses