Família de modelos open source de text-to-speech da Resemble AI, com clonagem de voz a partir de um trecho curto de referência em inglês e vários outros idiomas.
27,1 mil3,6 milPythonMITAtualizado há 3 meses
k2-fsa/OmniVoice
Modelo open source de text-to-speech zero-shot com suporte a mais de 600 idiomas, clonagem de voz e criação de vozes.
Alternativa open source a:ElevenLabs
- Estrelas
- 14,781
- Forks
- 2,206
- Issues abertas
- 67
- Último commit
- há 8 dias
O que é?
OmniVoice é um modelo de text-to-speech que gera fala em mais de 600 idiomas sem treinamento específico para cada idioma. Ele usa uma arquitetura no estilo de modelo de linguagem de difusão e oferece clonagem de voz zero-shot a partir de um trecho curto de áudio de referência, além de criação de vozes descritas por atributos como gênero, idade, pitch, sotaque ou dialeto chinês.
Além da síntese básica, ele aceita tags não verbais inseridas no texto, como [laughter] e [sigh], marcadores de tom pinyin para corrigir a pronúncia do chinês e fonemas do dicionário CMU para inglês. O áudio de saída é de 24 kHz. O modelo roda em hardware NVIDIA, Apple Silicon (MPS) e Intel Arc (XPU) e pode ser usado por meio de uma API Python, uma demo web do Gradio ou ferramentas de linha de comando, incluindo uma ferramenta de inferência em lote para várias GPUs.
Para acelerar o serving em GPUs NVIDIA, há uma integração opcional com FlashInfer.
Recursos principais
- 01Clonagem de voz zero-shot a partir de um trecho curto de áudio de referência.
- 02Criação de vozes especificando gênero, idade, pitch, estilo, sotaque ou dialeto chinês.
- 03Inserção no texto de tags não verbais, como [laughter] e [sigh].
- 04Entrada de pinyin e fonemas CMU para corrigir a pronúncia.
- 05Roda em GPUs NVIDIA, Apple Silicon e Intel Arc.
- 06API Python, demo web do Gradio e ferramentas CLI, incluindo inferência em lote para várias GPUs.
Casos de uso
- Gerar locuções ou narrações em vários idiomas.
- Clonar a voz de uma pessoa específica para gerar fala personalizada, com o consentimento dela.
- Produzir grandes volumes de áudio de fala em lote, usando várias GPUs.
- Prototipar recursos de TTS em uma demo local do Gradio antes de integrar uma API.
Início rápido
- 1
Instale o PyTorch para o seu hardware (exemplo com GPU NVIDIA)
pip install torch==2.8.0+cu128 torchaudio==2.8.0+cu128 --extra-index-url https://download.pytorch.org/whl/cu128 - 2
Instale o OmniVoice pelo PyPI
pip install omnivoice - 3
Inicie a demonstração web local
omnivoice-demo --ip 0.0.0.0 --port 8001
Antes de usar
- O design de voz foi treinado apenas com dados em chinês e inglês, então pode ser instável em outros idiomas.
- Para funcionar bem, geralmente é necessária uma GPU (CUDA, Apple Silicon MPS ou Intel Arc XPU), e o modelo pré-treinado precisa ser baixado do Hugging Face.
- A aceleração do FlashInfer está disponível apenas para GPUs NVIDIA.
Tópicos
Perguntas frequentes
- O que é OmniVoice?
- Modelo open source de text-to-speech zero-shot com suporte a mais de 600 idiomas, clonagem de voz e criação de vozes. OmniVoice é um modelo de text-to-speech que gera fala em mais de 600 idiomas sem treinamento específico para cada idioma. Ele usa uma arquitetura no estilo de modelo de linguagem de difusão e oferece clonagem de voz zero-shot a partir de um trecho curto de áudio de referência, além de criação de vozes descritas por atributos como gênero, idade, pitch, sotaque ou dialeto chinês.
- OmniVoice é gratuito? Qual é a licença?
- OmniVoice é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- OmniVoice ainda é mantido?
- Manutenção ativa. O último commit de OmniVoice foi em 12 de out. de 2026.
- Para que posso usar OmniVoice?
- Gerar locuções ou narrações em vários idiomas. Clonar a voz de uma pessoa específica para gerar fala personalizada, com o consentimento dela. Produzir grandes volumes de áudio de fala em lote, usando várias GPUs. Prototipar recursos de TTS em uma demo local do Gradio antes de integrar uma API.
- Como instalar OmniVoice?
- Instale o PyTorch para o seu hardware (exemplo com GPU NVIDIA): pip install torch==2.8.0+cu128 torchaudio==2.8.0+cu128 --extra-index-url https://download.pytorch.org/whl/cu128 Instale o OmniVoice pelo PyPI: pip install omnivoice Inicie a demonstração web local: omnivoice-demo --ip 0.0.0.0 --port 8001
- Onde consigo OmniVoice?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/k2-fsa/OmniVoice
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Sistema open source de text-to-speech com clonagem de voz, controle de emoção em linguagem natural e geração com vários falantes, baseado em modelos no estilo LLM.
33,3 mil2,9 milPythonOtherAtualizado há 6 dias
Sistema open source de text-to-speech baseado em flow matching com Diffusion Transformer, que oferece clonagem de voz zero-shot a partir de um áudio curto de referência.
IA e Machine Learning#text-to-speech#speech-synthesis#flow-matching#diffusion-transformer#voice-cloning
15,4 mil2,3 milPythonMITAtualizado há 6 dias
Modelo de TTS leve baseado no ZipVoice para clonagem de voz e geração de fala a 48 kHz, com velocidade superior a 150x em tempo real na GPU.
5,5 mil685PythonApache-2.0Atualizado há 5 meses
Modelo multilíngue de conversão de texto em fala com 0,1 bilhão de parâmetros, que funciona em tempo real na CPU, clona vozes e gera áudio estéreo a 48 kHz.
4,5 mil562PythonApache-2.0Atualizado mês passado
Família open source de modelos de voz com IA da Microsoft, com reconhecimento de fala de longa duração (ASR), text-to-speech com vários falantes (TTS) e modelos de TTS em streaming em tempo real.
54,9 mil6,2 milPythonMITAtualizado há 12 dias