SWivid/F5-TTS

这是什么？

核心功能

• 01基于短参考音频及其文本实现零样本音色克隆。
• 02提供用于推理的 Gradio 网页界面和微调界面。
• 03支持基于 TOML 配置文件的命令行推理，包括多音色故事生成。
• 04基于 Hugging Face Accelerate 进行训练与微调。
• 05提供 Docker 镜像，以及 Triton 与 TensorRT-LLM 部署方案。

适用场景

• 用短音频样本克隆音色，生成旁白或配音。
• 研究基于 Flow Matching 的语音合成模型及训练方法。
• 借助 Triton 和 TensorRT-LLM 部署 GPU 加速的自托管语音合成服务。
• 针对新语言或新说话人微调基础模型。

快速上手

1. 1

   创建并激活 Python 3.10+ 环境

   conda create -n f5-tts python=3.11
2. 2

   安装与你的设备匹配的 PyTorch（例如 NVIDIA CUDA 版本）

   pip install torch==2.8.0+cu128 torchaudio==2.8.0+cu128 --extra-index-url https://download.pytorch.org/whl/cu128
3. 3

   安装用于推理的 F5-TTS pip 包

   pip install f5-tts
4. 4

   启动 Gradio 网页界面

   f5-tts_infer-gradio

使用前须知

• !预训练模型采用 CC-BY-NC 许可，不可用于商业用途。
• !实际推理速度需要 GPU 支持。
• !需要安装 FFmpeg，并安装与你硬件匹配的 PyTorch。

标签

常见问题

F5-TTS 是什么？

基于 Flow Matching 与 Diffusion Transformer 的开源语音合成系统，可用短参考音频进行零样本音色克隆。 F5-TTS 是基于 Flow Matching 的语音合成系统，主干网络采用带 ConvNeXt V2 模块的 Diffusion Transformer（DiT）。输入文本和一段短参考音频，即可生成与参考音色相近的语音，无需针对每个说话人单独训练。项目还包含 E2 TTS 变体，以及推理时使用的 Sway Sampling 流步采样策略。

F5-TTS 可以免费使用吗？用的什么许可证？

F5-TTS 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

F5-TTS 还在维护吗？

活跃维护中。F5-TTS 最近一次提交是在 2026年10月14日。

F5-TTS 适合用来做什么？

用短音频样本克隆音色，生成旁白或配音。 研究基于 Flow Matching 的语音合成模型及训练方法。 借助 Triton 和 TensorRT-LLM 部署 GPU 加速的自托管语音合成服务。 针对新语言或新说话人微调基础模型。

F5-TTS 怎么安装和运行？

创建并激活 Python 3.10+ 环境: conda create -n f5-tts python=3.11 安装与你的设备匹配的 PyTorch（例如 NVIDIA CUDA 版本）: pip install torch==2.8.0+cu128 torchaudio==2.8.0+cu128 --extra-index-url https://download.pytorch.org/whl/cu128 安装用于推理的 F5-TTS pip 包: pip install f5-tts 启动 Gradio 网页界面: f5-tts_infer-gradio

在哪里获取 F5-TTS？

源代码和安装说明在 GitHub 上：https://github.com/SWivid/F5-TTS