Família de modelos open source de text-to-speech da Resemble AI, com clonagem de voz a partir de um trecho curto de referência em inglês e vários outros idiomas.
27,1 mil3,6 milPythonMITAtualizado há 3 meses
OpenBMB/VoxCPM
O VoxCPM2 é um modelo open source de texto para fala, sem tokenizer, que oferece suporte a 30 idiomas, criação de vozes a partir de descrições textuais e clonagem de voz com clipes de referência curtos.
Alternativa open source a:ElevenLabs
- Estrelas
- 39,635
- Forks
- 4,500
- Issues abertas
- 135
- Último commit
- há 13 dias
O que é?
O VoxCPM2 é um sistema de texto para fala da OpenBMB que gera representações contínuas de fala com uma arquitetura autoregressiva de difusão, em vez de tokens discretos. É um modelo com 2 bilhões de parâmetros, baseado no backbone MiniCPM-4, e gera áudio a 48 kHz.
O modelo atende a diferentes fluxos de trabalho: síntese multilíngue em 30 idiomas e em vários dialetos chineses, criação de vozes a partir de uma descrição em linguagem natural sem áudio de referência e clonagem a partir de um clipe curto de referência, com controle opcional de estilo. Um modo de maior fidelidade recebe o áudio de referência e sua transcrição para que a saída continue a partir da referência.
Ele pode ser usado por meio de uma API Python, uma CLI, uma demonstração web local e geração em streaming. As opções de serviço incluem Nano-vLLM, vLLM-Omni com um endpoint compatível com OpenAI e llama.cpp-omni para uso no dispositivo. Há suporte a fine-tuning com SFT completo ou LoRA, e os pesos e o código são disponibilizados sob a licença Apache-2.0.
Recursos principais
- 01Síntese de fala em 30 idiomas, incluindo vários dialetos chineses, sem uma tag de idioma.
- 02Criação de vozes a partir de uma descrição textual, como gênero, idade e tom.
- 03Clonagem de voz a partir de um clipe curto de referência, com controle opcional de estilo e emoção.
- 04Áudio de saída a 48 kHz a partir de uma entrada de referência a 16 kHz.
- 05Geração em streaming por meio de uma API Python, CLI e demonstração web.
- 06Suporte a fine-tuning completo e fine-tuning com LoRA.
Casos de uso
- Gerar locuções ou narrações multilíngues a partir de roteiros.
- Criar vozes personalizadas para personagens de jogos, vídeos ou assistentes virtuais.
- Dublar ou localizar vídeos usando a voz clonada de um locutor.
- Executar síntese de fala offline no dispositivo por meio do llama.cpp-omni.
Início rápido
- 1
Instale o pacote com pip
pip install voxcpm - 2
Carregue o modelo e gere fala com Python
- 3
Ou inicie a demonstração web local
python app.py --port 8808
Antes de usar
- A configuração documentada requer Python 3.10 ou superior, mas inferior a 3.13, PyTorch 2.5 ou mais recente e CUDA 12.0 ou mais recente.
- A inferência com qualidade máxima é voltada para GPU; o README informa fatores de tempo real medidos em uma NVIDIA RTX 4090.
- O modelo tem 2 bilhões de parâmetros e exige um download considerável do Hugging Face ou do ModelScope.
Tópicos
Perguntas frequentes
- O que é VoxCPM?
- O VoxCPM2 é um modelo open source de texto para fala, sem tokenizer, que oferece suporte a 30 idiomas, criação de vozes a partir de descrições textuais e clonagem de voz com clipes de referência curtos. O VoxCPM2 é um sistema de texto para fala da OpenBMB que gera representações contínuas de fala com uma arquitetura autoregressiva de difusão, em vez de tokens discretos. É um modelo com 2 bilhões de parâmetros, baseado no backbone MiniCPM-4, e gera áudio a 48 kHz.
- VoxCPM é gratuito? Qual é a licença?
- VoxCPM é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- VoxCPM ainda é mantido?
- Manutenção ativa. O último commit de VoxCPM foi em 8 de out. de 2026.
- Para que posso usar VoxCPM?
- Gerar locuções ou narrações multilíngues a partir de roteiros. Criar vozes personalizadas para personagens de jogos, vídeos ou assistentes virtuais. Dublar ou localizar vídeos usando a voz clonada de um locutor. Executar síntese de fala offline no dispositivo por meio do llama.cpp-omni.
- Como instalar VoxCPM?
- Instale o pacote com pip: pip install voxcpm Carregue o modelo e gere fala com Python Ou inicie a demonstração web local: python app.py --port 8808
- Onde consigo VoxCPM?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/OpenBMB/VoxCPM
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Modelo open source de text-to-speech zero-shot com suporte a mais de 600 idiomas, clonagem de voz e criação de vozes.
14,8 mil2,2 milPythonApache-2.0Atualizado há 8 dias
Sistema open source de text-to-speech com clonagem de voz, controle de emoção em linguagem natural e geração com vários falantes, baseado em modelos no estilo LLM.
33,3 mil2,9 milPythonOtherAtualizado há 7 dias
Biblioteca open source de text-to-speech cujo modelo KittenTTS 2 clona vozes com 5 segundos de áudio e funciona em tempo real na CPU.
16,2 mil967PythonApache-2.0Atualizado há 4 dias
Biblioteca Python de inferência para o Kokoro-82M, um modelo de conversão de texto em fala com pesos abertos e 82 milhões de parâmetros.
9,5 mil1,1 milJavaScriptApache-2.0Atualizado ano passado
Modelo de TTS leve baseado no ZipVoice para clonagem de voz e geração de fala a 48 kHz, com velocidade superior a 150x em tempo real na GPU.
5,5 mil685PythonApache-2.0Atualizado há 5 meses