Familia de modelos de texto a voz de código abierto de Resemble AI, con clonación de voz a partir de un breve clip de referencia en inglés y muchos otros idiomas.
27,1 mil3,6 milPythonMITActualizado hace 3 meses
OpenBMB/VoxCPM
VoxCPM2 es un modelo de texto a voz de código abierto y sin tokenizador que admite 30 idiomas, diseño de voz a partir de descripciones de texto y clonación de voz a partir de clips de referencia cortos.
Alternativa open source a:ElevenLabs
- Estrellas
- 39,635
- Forks
- 4,500
- Issues abiertos
- 135
- Último commit
- hace 13 días
¿Qué es?
VoxCPM2 es un sistema de texto a voz de OpenBMB que genera representaciones continuas del habla con una arquitectura autorregresiva de difusión, en lugar de usar tokens discretos. Es un modelo de 2.000 millones de parámetros basado en MiniCPM-4 y genera audio a 48 kHz.
El modelo admite varios flujos de trabajo: síntesis multilingüe directa en 30 idiomas y varios dialectos chinos, diseño de voz a partir de una descripción en lenguaje natural sin audio de referencia y clonación a partir de un clip de referencia corto, con control de estilo opcional. Un modo de mayor fidelidad utiliza tanto el audio de referencia como su transcripción para que el resultado continúe a partir de la referencia.
Se puede utilizar mediante una API de Python, una CLI, una demo web local y generación en streaming. Entre las opciones para servir el modelo están Nano-vLLM, vLLM-Omni con un endpoint compatible con OpenAI y llama.cpp-omni para uso en el dispositivo. Admite ajuste fino completo con SFT o LoRA, y tanto los pesos como el código se publican bajo la licencia Apache-2.0.
Funciones clave
- 01Síntesis de voz en 30 idiomas, incluidos varios dialectos chinos, sin etiqueta de idioma.
- 02Diseño de voz a partir de una descripción de texto, por ejemplo, del género, la edad y el tono.
- 03Clonación de voz a partir de un clip de referencia corto, con control opcional del estilo y la emoción.
- 04Audio de salida a 48 kHz a partir de una entrada de referencia a 16 kHz.
- 05Generación en streaming mediante una API de Python, una CLI y una demo web.
- 06Compatibilidad con ajuste fino completo y ajuste fino con LoRA.
Casos de uso
- Generar voces en off o narraciones multilingües a partir de guiones.
- Crear voces personalizadas para personajes de videojuegos, videos o asistentes virtuales.
- Doblar o localizar contenido de video con la voz clonada de un hablante.
- Ejecutar síntesis de voz sin conexión en el dispositivo mediante llama.cpp-omni.
Inicio rápido
- 1
Instala el paquete con pip
pip install voxcpm - 2
Carga el modelo y genera voz desde Python
- 3
O inicia la demo web local
python app.py --port 8808
Antes de usarlo
- La configuración documentada requiere Python 3.10 o superior, pero inferior a 3.13, PyTorch 2.5 o posterior y CUDA 12.0 o posterior.
- La inferencia con calidad completa está orientada a GPU; el README indica factores de tiempo real medidos en una NVIDIA RTX 4090.
- El modelo tiene 2.000 millones de parámetros y requiere una descarga considerable desde Hugging Face o ModelScope.
Temas
Preguntas frecuentes
- ¿Qué es VoxCPM?
- VoxCPM2 es un modelo de texto a voz de código abierto y sin tokenizador que admite 30 idiomas, diseño de voz a partir de descripciones de texto y clonación de voz a partir de clips de referencia cortos. VoxCPM2 es un sistema de texto a voz de OpenBMB que genera representaciones continuas del habla con una arquitectura autorregresiva de difusión, en lugar de usar tokens discretos. Es un modelo de 2.000 millones de parámetros basado en MiniCPM-4 y genera audio a 48 kHz.
- ¿VoxCPM es gratuito? ¿Qué licencia tiene?
- VoxCPM es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿VoxCPM sigue mantenido?
- Mantenimiento activo. El último commit de VoxCPM fue el 8 oct 2026.
- ¿Para qué puedo usar VoxCPM?
- Generar voces en off o narraciones multilingües a partir de guiones. Crear voces personalizadas para personajes de videojuegos, videos o asistentes virtuales. Doblar o localizar contenido de video con la voz clonada de un hablante. Ejecutar síntesis de voz sin conexión en el dispositivo mediante llama.cpp-omni.
- ¿Cómo se instala VoxCPM?
- Instala el paquete con pip: pip install voxcpm Carga el modelo y genera voz desde Python O inicia la demo web local: python app.py --port 8808
- ¿Dónde consigo VoxCPM?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/OpenBMB/VoxCPM
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Modelo de texto a voz de código abierto, multilingüe a gran escala y zero-shot, compatible con más de 600 idiomas, clonación de voz y diseño de voces.
14,8 mil2,2 milPythonApache-2.0Actualizado hace 8 días
Sistema open source de texto a voz con clonación de voz, control de emociones en lenguaje natural y generación multivoz, basado en modelos de tipo LLM.
33,3 mil2,9 milPythonOtherActualizado hace 7 días
Biblioteca de texto a voz de código abierto cuyo modelo KittenTTS 2 clona voces a partir de 5 segundos de audio y funciona en tiempo real en CPU.
16,2 mil967PythonApache-2.0Actualizado hace 4 días
Biblioteca de inferencia en Python para Kokoro-82M, un modelo de texto a voz de pesos abiertos con 82 millones de parámetros.
9,5 mil1,1 milJavaScriptApache-2.0Actualizado el año pasado
Modelo TTS ligero basado en ZipVoice para clonar voces y generar audio a 48 kHz, con una velocidad de más de 150 veces el tiempo real en GPU.
5,5 mil685PythonApache-2.0Actualizado hace 5 meses