Modelo de TTS leve baseado no ZipVoice para clonagem de voz e geração de fala a 48 kHz, com velocidade superior a 150x em tempo real na GPU.
5,5 mil685PythonApache-2.0Atualizado há 5 meses
SWivid/F5-TTS
Sistema open source de text-to-speech baseado em flow matching com Diffusion Transformer, que oferece clonagem de voz zero-shot a partir de um áudio curto de referência.
Alternativa open source a:ElevenLabs
- Estrelas
- 15,427
- Forks
- 2,250
- Issues abertas
- 65
- Último commit
- há 6 dias
O que é?
O F5-TTS é um sistema de text-to-speech baseado em flow matching com um Diffusion Transformer (DiT) que usa blocos ConvNeXt V2. Ele gera fala a partir de um texto e de um trecho curto de áudio de referência, reproduzindo a voz da pessoa sem precisar treinar um modelo para cada falante. O projeto também inclui a variante E2 TTS, um Transformer flat-UNet que os autores descrevem como uma reprodução fiel do artigo original, e uma estratégia de inferência Sway Sampling para as etapas de flow.
O repositório oferece um pacote pip, uma interface web em Gradio e uma ferramenta de linha de comando para inferência, configurada por arquivos TOML. Também inclui fluxos de trabalho de treinamento e fine-tuning com Hugging Face Accelerate, um app de fine-tuning em Gradio, imagens Docker e um runtime com Triton e TensorRT-LLM para implantação.
Os modelos pré-treinados são distribuídos sob a licença CC-BY-NC porque os dados de treinamento, Emilia, são dados coletados no mundo real, enquanto o código é licenciado sob MIT.
Recursos principais
- 01Clonagem de voz zero-shot a partir de um áudio curto de referência e sua transcrição.
- 02Interface web em Gradio para inferência e app de fine-tuning.
- 03Inferência por linha de comando configurada com arquivos TOML, incluindo histórias com várias vozes.
- 04Treinamento e fine-tuning com Hugging Face Accelerate.
- 05Imagens Docker e um runtime com Triton e TensorRT-LLM para implantação.
Casos de uso
- Gerar narrações ou locuções com uma voz clonada a partir de uma amostra curta.
- Pesquisar modelos de text-to-speech baseados em flow matching e suas receitas de treinamento.
- Implantar um serviço de TTS autogerenciado com aceleração por GPU via Triton e TensorRT-LLM.
- Fazer fine-tuning de um modelo-base para um novo idioma ou falante.
Início rápido
- 1
Crie e ative um ambiente com Python 3.10 ou superior
conda create -n f5-tts python=3.11 - 2
Instale o PyTorch adequado ao seu dispositivo (por exemplo, a versão com NVIDIA CUDA)
pip install torch==2.8.0+cu128 torchaudio==2.8.0+cu128 --extra-index-url https://download.pytorch.org/whl/cu128 - 3
Instale o pacote pip do F5-TTS para inferência
pip install f5-tts - 4
Inicie a interface web do Gradio
f5-tts_infer-gradio
Antes de usar
- Os modelos pré-treinados usam a licença CC-BY-NC, portanto não podem ser usados comercialmente.
- É necessária uma GPU para obter uma velocidade prática de inferência.
- São necessários o FFmpeg e uma instalação do PyTorch compatível com seu hardware.
Tópicos
Perguntas frequentes
- O que é F5-TTS?
- Sistema open source de text-to-speech baseado em flow matching com Diffusion Transformer, que oferece clonagem de voz zero-shot a partir de um áudio curto de referência. O F5-TTS é um sistema de text-to-speech baseado em flow matching com um Diffusion Transformer (DiT) que usa blocos ConvNeXt V2. Ele gera fala a partir de um texto e de um trecho curto de áudio de referência, reproduzindo a voz da pessoa sem precisar treinar um modelo para cada falante. O projeto também inclui a variante E2 TTS, um Transformer flat-UNet que os autores descrevem como uma reprodução fiel do artigo original, e uma estratégia de inferência Sway Sampling para as etapas de flow.
- F5-TTS é gratuito? Qual é a licença?
- F5-TTS é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
- F5-TTS ainda é mantido?
- Manutenção ativa. O último commit de F5-TTS foi em 14 de out. de 2026.
- Para que posso usar F5-TTS?
- Gerar narrações ou locuções com uma voz clonada a partir de uma amostra curta. Pesquisar modelos de text-to-speech baseados em flow matching e suas receitas de treinamento. Implantar um serviço de TTS autogerenciado com aceleração por GPU via Triton e TensorRT-LLM. Fazer fine-tuning de um modelo-base para um novo idioma ou falante.
- Como instalar F5-TTS?
- Crie e ative um ambiente com Python 3.10 ou superior: conda create -n f5-tts python=3.11 Instale o PyTorch adequado ao seu dispositivo (por exemplo, a versão com NVIDIA CUDA): pip install torch==2.8.0+cu128 torchaudio==2.8.0+cu128 --extra-index-url https://download.pytorch.org/whl/cu128 Instale o pacote pip do F5-TTS para inferência: pip install f5-tts Inicie a interface web do Gradio: f5-tts_infer-gradio
- Onde consigo F5-TTS?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/SWivid/F5-TTS
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Família de modelos open source de text-to-speech da Resemble AI, com clonagem de voz a partir de um trecho curto de referência em inglês e vários outros idiomas.
27,1 mil3,6 milPythonMITAtualizado há 3 meses
Modelo open source de text-to-speech zero-shot com suporte a mais de 600 idiomas, clonagem de voz e criação de vozes.
14,8 mil2,2 milPythonApache-2.0Atualizado há 8 dias
Família open source de modelos de voz com IA da Microsoft, com reconhecimento de fala de longa duração (ASR), text-to-speech com vários falantes (TTS) e modelos de TTS em streaming em tempo real.
54,9 mil6,2 milPythonMITAtualizado há 12 dias
Sistema open source de text-to-speech com clonagem de voz, controle de emoção em linguagem natural e geração com vários falantes, baseado em modelos no estilo LLM.
33,3 mil2,9 milPythonOtherAtualizado há 6 dias
Sistema de síntese de fala zero-shot que clona uma voz a partir de um único áudio de referência, com controle de emoção, velocidade e pronúncia.
24,6 mil2,9 milPythonOtherAtualizado há 21 dias