Modelo TTS ligero basado en ZipVoice para clonar voces y generar audio a 48 kHz, con una velocidad de más de 150 veces el tiempo real en GPU.
5,5 mil685PythonApache-2.0Actualizado hace 5 meses
SWivid/F5-TTS
Sistema open source de texto a voz basado en flow matching y un Diffusion Transformer, con clonación de voz zero-shot a partir de una breve muestra de audio.
Alternativa open source a:ElevenLabs
- Estrellas
- 15,427
- Forks
- 2,250
- Issues abiertos
- 65
- Último commit
- hace 6 días
¿Qué es?
F5-TTS es un sistema de texto a voz basado en flow matching y un Diffusion Transformer (DiT) que usa bloques ConvNeXt V2. Genera voz a partir de texto y un breve clip de audio de referencia, y reproduce la voz de quien habla en la muestra sin necesidad de entrenar el modelo para cada persona. El proyecto también incluye la variante E2 TTS, un Transformer flat-UNet que sus autores describen como una reproducción fiel del artículo original, y una estrategia de inferencia Sway Sampling para los pasos de flow.
El repositorio ofrece un paquete de pip, una interfaz web de Gradio y una herramienta de línea de comandos para inferencia, configurada mediante archivos TOML. También incluye flujos de trabajo de entrenamiento y ajuste fino basados en Hugging Face Accelerate, una aplicación de Gradio para ajuste fino, imágenes de Docker y un entorno de ejecución con Triton y TensorRT-LLM para despliegues.
Los modelos preentrenados se publican bajo la licencia CC-BY-NC porque los datos de entrenamiento, Emilia, son datos recopilados en condiciones reales, mientras que el código tiene licencia MIT.
Funciones clave
- 01Clonación de voz zero-shot a partir de un breve audio de referencia y su transcripción.
- 02Interfaz web de Gradio para inferencia y una aplicación para ajuste fino.
- 03Inferencia desde la línea de comandos, configurada mediante archivos TOML e incluye historias con varias voces.
- 04Entrenamiento y ajuste fino con Hugging Face Accelerate.
- 05Imágenes de Docker y un entorno de ejecución con Triton y TensorRT-LLM para despliegues.
Casos de uso
- Generar narraciones o locuciones con una voz clonada a partir de una muestra breve.
- Investigar modelos de texto a voz basados en flow matching y sus métodos de entrenamiento.
- Desplegar un servicio TTS autohospedado con aceleración por GPU mediante Triton y TensorRT-LLM.
- Ajustar un modelo base para un nuevo idioma o una nueva voz.
Inicio rápido
- 1
Crea y activa un entorno con Python 3.10 o posterior
conda create -n f5-tts python=3.11 - 2
Instala PyTorch para tu dispositivo (por ejemplo, la versión con NVIDIA CUDA)
pip install torch==2.8.0+cu128 torchaudio==2.8.0+cu128 --extra-index-url https://download.pytorch.org/whl/cu128 - 3
Instala el paquete pip de F5-TTS para la inferencia
pip install f5-tts - 4
Inicia la interfaz web de Gradio
f5-tts_infer-gradio
Antes de usarlo
- Los modelos preentrenados tienen licencia CC-BY-NC, por lo que no se pueden usar con fines comerciales.
- Se necesita una GPU para obtener una velocidad de inferencia práctica.
- Se requieren FFmpeg y una instalación de PyTorch compatible con tu hardware.
Temas
Preguntas frecuentes
- ¿Qué es F5-TTS?
- Sistema open source de texto a voz basado en flow matching y un Diffusion Transformer, con clonación de voz zero-shot a partir de una breve muestra de audio. F5-TTS es un sistema de texto a voz basado en flow matching y un Diffusion Transformer (DiT) que usa bloques ConvNeXt V2. Genera voz a partir de texto y un breve clip de audio de referencia, y reproduce la voz de quien habla en la muestra sin necesidad de entrenar el modelo para cada persona. El proyecto también incluye la variante E2 TTS, un Transformer flat-UNet que sus autores describen como una reproducción fiel del artículo original, y una estrategia de inferencia Sway Sampling para los pasos de flow.
- ¿F5-TTS es gratuito? ¿Qué licencia tiene?
- F5-TTS es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿F5-TTS sigue mantenido?
- Mantenimiento activo. El último commit de F5-TTS fue el 14 oct 2026.
- ¿Para qué puedo usar F5-TTS?
- Generar narraciones o locuciones con una voz clonada a partir de una muestra breve. Investigar modelos de texto a voz basados en flow matching y sus métodos de entrenamiento. Desplegar un servicio TTS autohospedado con aceleración por GPU mediante Triton y TensorRT-LLM. Ajustar un modelo base para un nuevo idioma o una nueva voz.
- ¿Cómo se instala F5-TTS?
- Crea y activa un entorno con Python 3.10 o posterior: conda create -n f5-tts python=3.11 Instala PyTorch para tu dispositivo (por ejemplo, la versión con NVIDIA CUDA): pip install torch==2.8.0+cu128 torchaudio==2.8.0+cu128 --extra-index-url https://download.pytorch.org/whl/cu128 Instala el paquete pip de F5-TTS para la inferencia: pip install f5-tts Inicia la interfaz web de Gradio: f5-tts_infer-gradio
- ¿Dónde consigo F5-TTS?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/SWivid/F5-TTS
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Familia de modelos de texto a voz de código abierto de Resemble AI, con clonación de voz a partir de un breve clip de referencia en inglés y muchos otros idiomas.
27,1 mil3,6 milPythonMITActualizado hace 3 meses
Modelo de texto a voz de código abierto, multilingüe a gran escala y zero-shot, compatible con más de 600 idiomas, clonación de voz y diseño de voces.
14,8 mil2,2 milPythonApache-2.0Actualizado hace 8 días
Familia open source de modelos de voz con IA de Microsoft: reconocimiento de voz de larga duración (ASR), text-to-speech (TTS) para varios hablantes y TTS en streaming en tiempo real.
54,9 mil6,2 milPythonMITActualizado hace 12 días
Sistema open source de texto a voz con clonación de voz, control de emociones en lenguaje natural y generación multivoz, basado en modelos de tipo LLM.
33,3 mil2,9 milPythonOtherActualizado hace 6 días
Sistema de texto a voz zero-shot que clona una voz a partir de un único audio de referencia y permite controlar la emoción, la velocidad y la pronunciación.
24,6 mil2,9 milPythonOtherActualizado hace 21 días