Familia de modelos de texto a voz de código abierto de Resemble AI, con clonación de voz a partir de un breve clip de referencia en inglés y muchos otros idiomas.
27,1 mil3,6 milPythonMITActualizado hace 3 meses
ysharma3501/LuxTTS
Modelo TTS ligero basado en ZipVoice para clonar voces y generar audio a 48 kHz, con una velocidad de más de 150 veces el tiempo real en GPU.
Alternativa open source a:ElevenLabs
- Estrellas
- 5,487
- Forks
- 685
- Issues abiertos
- 32
- Último commit
- hace 5 meses
¿Qué es?
LuxTTS es un modelo de texto a voz basado en la arquitectura ZipVoice y destilado para usar 4 pasos de muestreo. A partir de una grabación de referencia breve, clona la voz del hablante y genera audio a partir de texto. La salida es de 48 kHz y utiliza un vocoder personalizado; la configuración predeterminada de ZipVoice usa 24 kHz.
El proyecto prioriza la velocidad y el bajo consumo de memoria. Se indica que alcanza hasta 150 veces el tiempo real en una sola GPU, funciona más rápido que el tiempo real en CPU y cabe en aproximadamente 1 GB de VRAM. Es compatible con CUDA, CPU y MPS en Mac.
Se usa mediante una API de Python: carga el modelo con LuxTTS(...), codifica un archivo de audio de referencia con encode_prompt y luego llama a generate_speech, con parámetros opcionales como num_steps, speed y t_shift. El repositorio también enlaza un modelo y un Space de Hugging Face, un notebook de Colab e integraciones de la comunidad, como una app de Gradio, nodos de ComfyUI y un port a ONNX.
Funciones clave
- 01Clonación de voz a partir de un archivo de audio de referencia breve (wav o mp3, de al menos unos 3 segundos).
- 02Salida de voz a 48 kHz.
- 03Hasta 150 veces el tiempo real en una sola GPU y más rápido que el tiempo real en CPU.
- 04Funciona con aproximadamente 1 GB de VRAM.
- 05Compatible con dispositivos CUDA, CPU y Apple MPS.
Casos de uso
- Generar locuciones o narraciones con una voz clonada en una GPU local.
- Ejecutar síntesis de voz en la CPU de una laptop o en una Mac.
- Crear un backend de TTS para aplicaciones que necesitan voz rápida y con una frecuencia de muestreo alta.
Inicio rápido
- 1
Clona el repositorio
git clone https://github.com/ysharma3501/LuxTTS.git - 2
Entra en la carpeta del proyecto
cd LuxTTS - 3
Instala las dependencias
pip install -r requirements.txt - 4
Carga el modelo en la GPU desde Python y genera voz (consulta los ejemplos de inferencia del README)
from zipvoice.luxvoice import LuxTTS
Antes de usarlo
- La clonación de voz requiere un archivo de audio de referencia de al menos 3 segundos.
- La afirmación de una velocidad 150 veces superior al tiempo real se refiere a una sola GPU; el README no ofrece benchmarks para CPU ni Mac, aparte de indicar que la CPU es más rápida que el tiempo real.
- La inferencia en Float16 aún no se ha publicado, por lo que actualmente se ejecuta en float32.
Temas
Preguntas frecuentes
- ¿Qué es LuxTTS?
- Modelo TTS ligero basado en ZipVoice para clonar voces y generar audio a 48 kHz, con una velocidad de más de 150 veces el tiempo real en GPU. LuxTTS es un modelo de texto a voz basado en la arquitectura ZipVoice y destilado para usar 4 pasos de muestreo. A partir de una grabación de referencia breve, clona la voz del hablante y genera audio a partir de texto. La salida es de 48 kHz y utiliza un vocoder personalizado; la configuración predeterminada de ZipVoice usa 24 kHz.
- ¿LuxTTS es gratuito? ¿Qué licencia tiene?
- LuxTTS es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿LuxTTS sigue mantenido?
- Actualizado en los últimos 6 meses. El último commit de LuxTTS fue el 5 jun 2026.
- ¿Para qué puedo usar LuxTTS?
- Generar locuciones o narraciones con una voz clonada en una GPU local. Ejecutar síntesis de voz en la CPU de una laptop o en una Mac. Crear un backend de TTS para aplicaciones que necesitan voz rápida y con una frecuencia de muestreo alta.
- ¿Cómo se instala LuxTTS?
- Clona el repositorio: git clone https://github.com/ysharma3501/LuxTTS.git Entra en la carpeta del proyecto: cd LuxTTS Instala las dependencias: pip install -r requirements.txt Carga el modelo en la GPU desde Python y genera voz (consulta los ejemplos de inferencia del README): from zipvoice.luxvoice import LuxTTS
- ¿Dónde consigo LuxTTS?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/ysharma3501/LuxTTS
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Sistema open source de texto a voz basado en flow matching y un Diffusion Transformer, con clonación de voz zero-shot a partir de una breve muestra de audio.
IA y Machine Learning#text-to-speech#speech-synthesis#flow-matching#diffusion-transformer#voice-cloning
15,4 mil2,3 milPythonMITActualizado hace 6 días
Sistema open source de texto a voz con clonación de voz, control de emociones en lenguaje natural y generación multivoz, basado en modelos de tipo LLM.
33,3 mil2,9 milPythonOtherActualizado hace 6 días
Biblioteca de texto a voz de código abierto cuyo modelo KittenTTS 2 clona voces a partir de 5 segundos de audio y funciona en tiempo real en CPU.
16,2 mil967PythonApache-2.0Actualizado hace 4 días
Modelo de texto a voz de código abierto, multilingüe a gran escala y zero-shot, compatible con más de 600 idiomas, clonación de voz y diseño de voces.
14,8 mil2,2 milPythonApache-2.0Actualizado hace 8 días
Biblioteca de inferencia en Python para Kokoro-82M, un modelo de texto a voz de pesos abiertos con 82 millones de parámetros.
9,5 mil1,1 milJavaScriptApache-2.0Actualizado el año pasado