Família de modelos open source de text-to-speech da Resemble AI, com clonagem de voz a partir de um trecho curto de referência em inglês e vários outros idiomas.
27,1 mil3,6 milPythonMITAtualizado há 3 meses
ysharma3501/LuxTTS
Modelo de TTS leve baseado no ZipVoice para clonagem de voz e geração de fala a 48 kHz, com velocidade superior a 150x em tempo real na GPU.
Alternativa open source a:ElevenLabs
- Estrelas
- 5,487
- Forks
- 685
- Issues abertas
- 32
- Último commit
- há 5 meses
O que é?
LuxTTS é um modelo de text-to-speech baseado na arquitetura ZipVoice e destilado para 4 etapas de amostragem. Com uma gravação curta de referência, ele clona a voz do falante e gera fala a partir de texto. A saída é de 48 kHz, usando um vocoder personalizado; a configuração padrão do ZipVoice usa 24 kHz.
O projeto prioriza velocidade e baixo uso de memória. Segundo a descrição, ele roda a até 150x em tempo real em uma única GPU, mais rápido que o tempo real na CPU e ocupando cerca de 1 GB de VRAM. Os dispositivos compatíveis incluem CUDA, CPU e MPS em Macs.
O uso é feito pela API Python: carregue o modelo com LuxTTS(...), codifique um arquivo de áudio de referência com encode_prompt e, em seguida, chame generate_speech com parâmetros opcionais, como num_steps, speed e t_shift. O repositório também inclui links para um modelo e um Space no Hugging Face, um notebook do Colab e integrações da comunidade, incluindo um app Gradio, nós do ComfyUI e uma versão para ONNX.
Recursos principais
- 01Clonagem de voz a partir de um arquivo de áudio curto de referência (wav ou mp3, com pelo menos cerca de 3 segundos).
- 02Saída de fala a 48 kHz.
- 03Até 150x em tempo real em uma única GPU e mais rápido que o tempo real na CPU.
- 04Funciona com cerca de 1 GB de VRAM.
- 05Compatível com dispositivos CUDA, CPU e Apple MPS.
Casos de uso
- Gerar narração ou locução com voz clonada em uma GPU local.
- Executar síntese de voz na CPU de um laptop ou em um Mac.
- Criar um backend de TTS para apps que precisam de fala rápida com alta taxa de amostragem.
Início rápido
- 1
Clone o repositório
git clone https://github.com/ysharma3501/LuxTTS.git - 2
Acesse a pasta do projeto
cd LuxTTS - 3
Instale as dependências
pip install -r requirements.txt - 4
Carregue o modelo na GPU usando Python e gere fala (consulte os exemplos de inferência no README)
from zipvoice.luxvoice import LuxTTS
Antes de usar
- A clonagem de voz precisa de um arquivo de áudio de referência com pelo menos 3 segundos.
- A alegação de velocidade de 150 vezes o tempo real se refere a uma única GPU; o README não apresenta benchmarks de CPU ou Mac, além de dizer que a CPU é mais rápida que o tempo real.
- A inferência em Float16 ainda não foi lançada, então atualmente é executada em float32.
Tópicos
Perguntas frequentes
- O que é LuxTTS?
- Modelo de TTS leve baseado no ZipVoice para clonagem de voz e geração de fala a 48 kHz, com velocidade superior a 150x em tempo real na GPU. LuxTTS é um modelo de text-to-speech baseado na arquitetura ZipVoice e destilado para 4 etapas de amostragem. Com uma gravação curta de referência, ele clona a voz do falante e gera fala a partir de texto. A saída é de 48 kHz, usando um vocoder personalizado; a configuração padrão do ZipVoice usa 24 kHz.
- LuxTTS é gratuito? Qual é a licença?
- LuxTTS é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- LuxTTS ainda é mantido?
- Atualizado nos últimos 6 meses. O último commit de LuxTTS foi em 5 de jun. de 2026.
- Para que posso usar LuxTTS?
- Gerar narração ou locução com voz clonada em uma GPU local. Executar síntese de voz na CPU de um laptop ou em um Mac. Criar um backend de TTS para apps que precisam de fala rápida com alta taxa de amostragem.
- Como instalar LuxTTS?
- Clone o repositório: git clone https://github.com/ysharma3501/LuxTTS.git Acesse a pasta do projeto: cd LuxTTS Instale as dependências: pip install -r requirements.txt Carregue o modelo na GPU usando Python e gere fala (consulte os exemplos de inferência no README): from zipvoice.luxvoice import LuxTTS
- Onde consigo LuxTTS?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/ysharma3501/LuxTTS
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Sistema open source de text-to-speech baseado em flow matching com Diffusion Transformer, que oferece clonagem de voz zero-shot a partir de um áudio curto de referência.
IA e Machine Learning#text-to-speech#speech-synthesis#flow-matching#diffusion-transformer#voice-cloning
15,4 mil2,3 milPythonMITAtualizado há 6 dias
Sistema open source de text-to-speech com clonagem de voz, controle de emoção em linguagem natural e geração com vários falantes, baseado em modelos no estilo LLM.
33,3 mil2,9 milPythonOtherAtualizado há 6 dias
Biblioteca open source de text-to-speech cujo modelo KittenTTS 2 clona vozes com 5 segundos de áudio e funciona em tempo real na CPU.
16,2 mil967PythonApache-2.0Atualizado há 4 dias
Modelo open source de text-to-speech zero-shot com suporte a mais de 600 idiomas, clonagem de voz e criação de vozes.
14,8 mil2,2 milPythonApache-2.0Atualizado há 8 dias
Biblioteca Python de inferência para o Kokoro-82M, um modelo de conversão de texto em fala com pesos abertos e 82 milhões de parâmetros.
9,5 mil1,1 milJavaScriptApache-2.0Atualizado ano passado