Resemble AI 开源的文本转语音模型系列,支持基于参考音频的声音克隆,覆盖英语及多种其他语言。
- Star
- 33,309
- Fork
- 2,894
- 未关闭 Issue
- 21
- 最近提交
- 6天前
这是什么?
Fish Speech 是 Fish Audio 开源的文本转语音项目,可以把文字合成为语音,并能用一段约 10 到 30 秒的参考音频克隆音色。文本中可以直接插入 [whisper]、[angry]、[laughing] 等标签来控制情绪和语调,通过说话人 ID 还能在同一段文本中区分多个角色。
项目目前提供两代模型。Drama 3 是新一代旗舰,面向多角色场景和长篇内容,支持多轮指令修改,并可对已生成的音频做单词级局部编辑。S2-Pro 是上一代模型,体积较小,可在消费级 GPU 上部署,覆盖约一百种语言。两者共用同一套命令行和 API 服务,模型类型会根据 checkpoint 的配置自动识别。
项目提供安装、权重下载、Docker 部署,以及命令行、API 服务和 WebUI 等推理方式。模型权重发布在 Hugging Face 上,代码与权重遵循 Fish Audio 社区许可证,其中 S2-Pro 权重适用单独的研究许可证。
核心功能
- 01基于短参考音频的声音克隆
- 02文本内联自然语言标签控制情绪和语调
- 03单段文本中的多角色语音生成
- 04对已有音频进行单词级局部编辑(Drama 3)
- 05支持长文本流式输出
- 06提供命令行、API 服务和 WebUI 推理方式
适用场景
- 生成带有情绪表现力的配音或有声书旁白
- 制作多角色剧本场景或对话音频
- 搭建通过 API 对外提供服务的自托管 TTS 后端
- 开展声音克隆和语音合成相关的研究实验
快速上手
- 1
阅读安装指南,了解环境配置、模型权重下载和 Docker 部署
- 2
阅读推理指南,了解命令行、API 服务器和 WebUI 的用法
使用前须知
- 代码库和模型权重采用 Fish Audio 社区许可证,而非标准开源许可证。
- S2-Pro 权重采用 Fish Audio 研究许可证,可能限制商业用途。
- 安装依赖外部文档以及需要单独下载的模型权重。
标签
常见问题
- fish-speech 是什么?
- 开源文本转语音系统,支持声音克隆、自然语言控制情绪和多角色语音生成。 Fish Speech 是 Fish Audio 开源的文本转语音项目,可以把文字合成为语音,并能用一段约 10 到 30 秒的参考音频克隆音色。文本中可以直接插入 [whisper]、[angry]、[laughing] 等标签来控制情绪和语调,通过说话人 ID 还能在同一段文本中区分多个角色。
- fish-speech 可以免费使用吗?用的什么许可证?
- fish-speech 以 Other 许可证开源。用于商业产品前,请先确认许可证条款。
- fish-speech 还在维护吗?
- 活跃维护中。fish-speech 最近一次提交是在 2026年10月14日。
- fish-speech 适合用来做什么?
- 生成带有情绪表现力的配音或有声书旁白 制作多角色剧本场景或对话音频 搭建通过 API 对外提供服务的自托管 TTS 后端 开展声音克隆和语音合成相关的研究实验
- fish-speech 怎么安装和运行?
- 阅读安装指南,了解环境配置、模型权重下载和 Docker 部署 阅读推理指南,了解命令行、API 服务器和 WebUI 的用法
- 在哪里获取 fish-speech?
- 源代码和安装说明在 GitHub 上:https://github.com/fishaudio/fish-speech
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
开源文本转语音库,KittenTTS 2 可从几秒音频克隆声音,并能在 CPU 上实时合成。
开源多语言零样本语音合成模型,支持 600 多种语言,并可克隆与设计声音。
Kokoro-82M 文字转语音模型的 Python 推理库,模型参数量为 8200 万。
基于 ZipVoice 的轻量级 TTS 模型,支持声音克隆与 48kHz 语音生成,GPU 上可达 150 倍实时速度。
一个仅 0.1B 参数的多语言语音合成模型,可在 CPU 上实时推理,支持声音克隆与 48 kHz 立体声输出。