Familia de modelos de texto a voz de código abierto de Resemble AI, con clonación de voz a partir de un breve clip de referencia en inglés y muchos otros idiomas.
27,1 mil3,6 milPythonMITActualizado hace 3 meses
k2-fsa/OmniVoice
Modelo de texto a voz de código abierto, multilingüe a gran escala y zero-shot, compatible con más de 600 idiomas, clonación de voz y diseño de voces.
Alternativa open source a:ElevenLabs
- Estrellas
- 14,781
- Forks
- 2,206
- Issues abiertos
- 67
- Último commit
- hace 8 días
¿Qué es?
OmniVoice es un modelo de texto a voz que genera habla en más de 600 idiomas sin entrenamiento específico para cada idioma. Está basado en una arquitectura de estilo modelo de lenguaje de difusión y permite clonar voces en modo zero-shot a partir de un breve clip de referencia, además de diseñar voces describiendo atributos como el género, la edad, el tono, el acento o el dialecto chino.
Además de la síntesis básica, admite etiquetas no verbales integradas en el texto, como [laughter] y [sigh], marcadores de tono pinyin para corregir la pronunciación del chino y fonemas del diccionario CMU para el inglés. El audio de salida es de 24 kHz. Funciona en hardware NVIDIA, Apple Silicon (MPS) e Intel Arc (XPU), y se puede usar mediante una API de Python, una demo web de Gradio o herramientas de línea de comandos, incluida una herramienta de inferencia por lotes con varias GPU.
Para acelerar el servicio en GPU NVIDIA, hay una integración opcional con FlashInfer.
Funciones clave
- 01Clonación de voz zero-shot a partir de un breve clip de audio de referencia.
- 02Diseño de voces especificando el género, la edad, el tono, el estilo, el acento o el dialecto chino.
- 03Inserción en el texto de etiquetas no verbales como [laughter] y [sigh].
- 04Entrada de pinyin y fonemas CMU para corregir la pronunciación.
- 05Funciona en GPU NVIDIA, Apple Silicon e Intel Arc.
- 06API de Python, demo web de Gradio y herramientas CLI, incluida la inferencia por lotes con varias GPU.
Casos de uso
- Generar locuciones o narraciones multilingües en muchos idiomas.
- Clonar la voz de una persona concreta para generar habla personalizada, con su consentimiento.
- Producir por lotes grandes volúmenes de audio de voz con varias GPU.
- Probar funciones de TTS en una demo local de Gradio antes de integrar una API.
Inicio rápido
- 1
Instala PyTorch para tu hardware (ejemplo con una GPU NVIDIA)
pip install torch==2.8.0+cu128 torchaudio==2.8.0+cu128 --extra-index-url https://download.pytorch.org/whl/cu128 - 2
Instala OmniVoice desde PyPI
pip install omnivoice - 3
Inicia la demo web local
omnivoice-demo --ip 0.0.0.0 --port 8001
Antes de usarlo
- El diseño de voz se ha entrenado únicamente con datos en chino e inglés, por lo que puede ser inestable en otros idiomas.
- Para que funcione bien, generalmente se necesita una GPU (CUDA, Apple Silicon MPS o Intel Arc XPU) y descargar el modelo preentrenado desde Hugging Face.
- La aceleración de FlashInfer solo está disponible para GPU NVIDIA.
Temas
Preguntas frecuentes
- ¿Qué es OmniVoice?
- Modelo de texto a voz de código abierto, multilingüe a gran escala y zero-shot, compatible con más de 600 idiomas, clonación de voz y diseño de voces. OmniVoice es un modelo de texto a voz que genera habla en más de 600 idiomas sin entrenamiento específico para cada idioma. Está basado en una arquitectura de estilo modelo de lenguaje de difusión y permite clonar voces en modo zero-shot a partir de un breve clip de referencia, además de diseñar voces describiendo atributos como el género, la edad, el tono, el acento o el dialecto chino.
- ¿OmniVoice es gratuito? ¿Qué licencia tiene?
- OmniVoice es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿OmniVoice sigue mantenido?
- Mantenimiento activo. El último commit de OmniVoice fue el 12 oct 2026.
- ¿Para qué puedo usar OmniVoice?
- Generar locuciones o narraciones multilingües en muchos idiomas. Clonar la voz de una persona concreta para generar habla personalizada, con su consentimiento. Producir por lotes grandes volúmenes de audio de voz con varias GPU. Probar funciones de TTS en una demo local de Gradio antes de integrar una API.
- ¿Cómo se instala OmniVoice?
- Instala PyTorch para tu hardware (ejemplo con una GPU NVIDIA): pip install torch==2.8.0+cu128 torchaudio==2.8.0+cu128 --extra-index-url https://download.pytorch.org/whl/cu128 Instala OmniVoice desde PyPI: pip install omnivoice Inicia la demo web local: omnivoice-demo --ip 0.0.0.0 --port 8001
- ¿Dónde consigo OmniVoice?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/k2-fsa/OmniVoice
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Sistema open source de texto a voz con clonación de voz, control de emociones en lenguaje natural y generación multivoz, basado en modelos de tipo LLM.
33,3 mil2,9 milPythonOtherActualizado hace 6 días
Sistema open source de texto a voz basado en flow matching y un Diffusion Transformer, con clonación de voz zero-shot a partir de una breve muestra de audio.
IA y Machine Learning#text-to-speech#speech-synthesis#flow-matching#diffusion-transformer#voice-cloning
15,4 mil2,3 milPythonMITActualizado hace 6 días
Modelo TTS ligero basado en ZipVoice para clonar voces y generar audio a 48 kHz, con una velocidad de más de 150 veces el tiempo real en GPU.
5,5 mil685PythonApache-2.0Actualizado hace 5 meses
Modelo multilingüe de texto a voz con 0,1B de parámetros, ejecución en tiempo real en CPU, clonación de voz y salida estéreo a 48 kHz.
4,5 mil562PythonApache-2.0Actualizado el mes pasado
Familia open source de modelos de voz con IA de Microsoft: reconocimiento de voz de larga duración (ASR), text-to-speech (TTS) para varios hablantes y TTS en streaming en tiempo real.
54,9 mil6,2 milPythonMITActualizado hace 12 días