Repolode
fishaudio

fishaudio/fish-speech

开源文本转语音系统,支持声音克隆、自然语言控制情绪和多角色语音生成。

可替代:ElevenLabs

Star
33,309
Fork
2,894
未关闭 Issue
21
最近提交
6天前

这是什么?

Fish Speech 是 Fish Audio 开源的文本转语音项目,可以把文字合成为语音,并能用一段约 10 到 30 秒的参考音频克隆音色。文本中可以直接插入 [whisper]、[angry]、[laughing] 等标签来控制情绪和语调,通过说话人 ID 还能在同一段文本中区分多个角色。

项目目前提供两代模型。Drama 3 是新一代旗舰,面向多角色场景和长篇内容,支持多轮指令修改,并可对已生成的音频做单词级局部编辑。S2-Pro 是上一代模型,体积较小,可在消费级 GPU 上部署,覆盖约一百种语言。两者共用同一套命令行和 API 服务,模型类型会根据 checkpoint 的配置自动识别。

项目提供安装、权重下载、Docker 部署,以及命令行、API 服务和 WebUI 等推理方式。模型权重发布在 Hugging Face 上,代码与权重遵循 Fish Audio 社区许可证,其中 S2-Pro 权重适用单独的研究许可证。

核心功能

  • 01基于短参考音频的声音克隆
  • 02文本内联自然语言标签控制情绪和语调
  • 03单段文本中的多角色语音生成
  • 04对已有音频进行单词级局部编辑(Drama 3)
  • 05支持长文本流式输出
  • 06提供命令行、API 服务和 WebUI 推理方式

适用场景

  • 生成带有情绪表现力的配音或有声书旁白
  • 制作多角色剧本场景或对话音频
  • 搭建通过 API 对外提供服务的自托管 TTS 后端
  • 开展声音克隆和语音合成相关的研究实验

快速上手

  1. 1

    阅读安装指南,了解环境配置、模型权重下载和 Docker 部署

  2. 2

    阅读推理指南,了解命令行、API 服务器和 WebUI 的用法

使用前须知

  • 代码库和模型权重采用 Fish Audio 社区许可证,而非标准开源许可证。
  • S2-Pro 权重采用 Fish Audio 研究许可证,可能限制商业用途。
  • 安装依赖外部文档以及需要单独下载的模型权重。

标签

常见问题

fish-speech 是什么?
开源文本转语音系统,支持声音克隆、自然语言控制情绪和多角色语音生成。 Fish Speech 是 Fish Audio 开源的文本转语音项目,可以把文字合成为语音,并能用一段约 10 到 30 秒的参考音频克隆音色。文本中可以直接插入 [whisper]、[angry]、[laughing] 等标签来控制情绪和语调,通过说话人 ID 还能在同一段文本中区分多个角色。
fish-speech 可以免费使用吗?用的什么许可证?
fish-speech 以 Other 许可证开源。用于商业产品前,请先确认许可证条款。
fish-speech 还在维护吗?
活跃维护中。fish-speech 最近一次提交是在 2026年10月14日。
fish-speech 适合用来做什么?
生成带有情绪表现力的配音或有声书旁白 制作多角色剧本场景或对话音频 搭建通过 API 对外提供服务的自托管 TTS 后端 开展声音克隆和语音合成相关的研究实验
fish-speech 怎么安装和运行?
阅读安装指南,了解环境配置、模型权重下载和 Docker 部署 阅读推理指南,了解命令行、API 服务器和 WebUI 的用法
在哪里获取 fish-speech?
源代码和安装说明在 GitHub 上:https://github.com/fishaudio/fish-speech

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目