SWivid/F5-TTS

Что это?

Ключевые возможности

• 01Клонирование голоса без предварительного обучения по короткому аудиофрагменту и его расшифровке.
• 02Веб-интерфейс Gradio для вывода модели и приложение для дообучения.
• 03Вывод модели через CLI с настройкой в файлах TOML, в том числе для историй с несколькими голосами.
• 04Обучение и дообучение с помощью Hugging Face Accelerate.
• 05Docker-образы и среда выполнения Triton и TensorRT-LLM для развёртывания.

Сценарии использования

• Создание озвучки или закадрового голоса, клонирующего голос по короткому образцу.
• Изучение моделей синтеза речи на основе flow matching и методов их обучения.
• Развёртывание собственного сервиса синтеза речи с GPU-ускорением через Triton и TensorRT-LLM.
• Дообучение базовой модели для нового языка или диктора.

Быстрый старт

1. 1

   Создайте и активируйте окружение с Python 3.10 или новее

   conda create -n f5-tts python=3.11
2. 2

   Установите PyTorch, подходящий для вашего устройства (например, сборку с NVIDIA CUDA)

   pip install torch==2.8.0+cu128 torchaudio==2.8.0+cu128 --extra-index-url https://download.pytorch.org/whl/cu128
3. 3

   Установите pip-пакет F5-TTS для инференса

   pip install f5-tts
4. 4

   Запустите веб-интерфейс Gradio

   f5-tts_infer-gradio

Что важно знать

• !Предварительно обученные модели распространяются по лицензии CC-BY-NC, поэтому их нельзя использовать в коммерческих целях.
• !Для практической скорости инференса требуется GPU.
• !Требуются FFmpeg и сборка PyTorch, подходящая для вашего оборудования.

Темы

Частые вопросы

Что такое F5-TTS?

Открытая система синтеза речи на основе flow matching и Diffusion Transformer с клонированием голоса по короткому аудиофрагменту без предварительного обучения на диктора. F5-TTS — система синтеза речи на основе flow matching и Diffusion Transformer (DiT) с блоками ConvNeXt V2. Она генерирует речь по тексту и короткому аудиофрагменту, воспроизводя голос диктора из записи без отдельного обучения на каждом дикторе. В проект также входит вариант E2 TTS — Transformer с плоской архитектурой UNet, который авторы описывают как точное воспроизведение оригинальной статьи, — а также стратегия Sway Sampling для шагов вывода модели.

F5-TTS можно использовать бесплатно? Какая у него лицензия?

F5-TTS распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

F5-TTS всё ещё поддерживается?

Активно поддерживается. Последний коммит в F5-TTS — 14 окт. 2026 г..

Для чего можно использовать F5-TTS?

Создание озвучки или закадрового голоса, клонирующего голос по короткому образцу. Изучение моделей синтеза речи на основе flow matching и методов их обучения. Развёртывание собственного сервиса синтеза речи с GPU-ускорением через Triton и TensorRT-LLM. Дообучение базовой модели для нового языка или диктора.

Как установить F5-TTS?

Создайте и активируйте окружение с Python 3.10 или новее: conda create -n f5-tts python=3.11 Установите PyTorch, подходящий для вашего устройства (например, сборку с NVIDIA CUDA): pip install torch==2.8.0+cu128 torchaudio==2.8.0+cu128 --extra-index-url https://download.pytorch.org/whl/cu128 Установите pip-пакет F5-TTS для инференса: pip install f5-tts Запустите веб-интерфейс Gradio: f5-tts_infer-gradio

Где скачать F5-TTS?

Исходный код и инструкции по установке — на GitHub: https://github.com/SWivid/F5-TTS