阿里云百炼语音大模型的开发示例集,涵盖语音识别、语音合成与语音对话。
PedroMarinhoDev/ComfyUI-Drama3
ComfyUI 节点包,支持 Fish Audio Drama 3 文本转语音、声音克隆、多人对话,并内置 Qwen3-ASR 语音识别。
- Star
- 165
- Fork
- 21
- 未关闭 Issue
- 6
- 最近提交
- 13天前
这是什么?
ComfyUI-Drama3 将 Fish Audio 的 Drama 3 文本转语音模型以节点形式接入 ComfyUI。它可以用一段短音频和对应文本克隆声音,把克隆好的声音保存下来重复使用,支持最多 16 位说话人的多人对话,并能在文本中插入 [laughs]、[whispers]、[sighs] 等语气标记。长文本会自动分段依次生成。
该模型是 35B 的混合专家网络,大部分路由专家权重保存在系统内存中,显存则缓存当前正在使用的专家,项目称此方式可在 8 GB 显卡上运行。插件还内置原生 Qwen3-ASR 语音识别节点,可以自动为声音片段生成转写文本。模型权重需从 Hugging Face 单独下载,遵循 Fish Audio 社区许可证;代码采用 GPL-3.0 许可证。
核心功能
- 01从短音频和对应文本克隆声音,并保存为可重复使用的小文件。
- 02支持最多 16 位说话人的多人对话,每人使用独立音色。
- 03支持 [laughs]、[whispers]、[sighs] 等语气标记,以及语速、强调等标签。
- 04专家权重保存在系统内存中,通过显存缓存运行,8 GB 显卡即可使用。
- 05内置原生 Qwen3-ASR 语音识别,支持 30 种语言。
- 06编辑节点可生成逐词字幕并按说话人分轨。
适用场景
- 在 ComfyUI 工作流中根据文稿生成旁白或配音。
- 为有声剧或动画原型制作多角色对话。
- 自动转写语音片段,为声音克隆做准备。
- 在消费级显卡上搭建本地文本转语音流程。
快速上手
- 1
通过 ComfyUI-Manager 或 Comfy Registry 安装节点
comfy node install drama3 - 2
将仓库克隆到 custom_nodes 并重启 ComfyUI
cd ComfyUI/custom_nodes git clone https://github.com/PedroMarinhoDev/ComfyUI-Drama3 - 3
从 Hugging Face 下载模型权重
hf download PedroMarinhoDev/Drama-3-ComfyUI drama3_fp8experts_bf16.safetensors --local-dir ComfyUI/models/diffusion_models - 4
在 ComfyUI 中打开语音克隆示例工作流并运行
使用前须知
- 需要至少 8 GB 显存的 NVIDIA 显卡,以及约 32 到 48 GB 的系统内存。
- 模型文件非常大,默认 FP8 文件约 38.6 GB。
- 代码采用 GPL-3.0 许可,而模型权重使用单独的 Fish Audio 社区许可证。
收录于专题
标签
常见问题
- ComfyUI-Drama3 是什么?
- ComfyUI 节点包,支持 Fish Audio Drama 3 文本转语音、声音克隆、多人对话,并内置 Qwen3-ASR 语音识别。 ComfyUI-Drama3 将 Fish Audio 的 Drama 3 文本转语音模型以节点形式接入 ComfyUI。它可以用一段短音频和对应文本克隆声音,把克隆好的声音保存下来重复使用,支持最多 16 位说话人的多人对话,并能在文本中插入 [laughs]、[whispers]、[sighs] 等语气标记。长文本会自动分段依次生成。
- ComfyUI-Drama3 可以免费使用吗?用的什么许可证?
- ComfyUI-Drama3 以 GPL-3.0 许可证开源。用于商业产品前,请先确认许可证条款。
- ComfyUI-Drama3 还在维护吗?
- 活跃维护中。ComfyUI-Drama3 最近一次提交是在 2026年10月25日。
- ComfyUI-Drama3 适合用来做什么?
- 在 ComfyUI 工作流中根据文稿生成旁白或配音。 为有声剧或动画原型制作多角色对话。 自动转写语音片段,为声音克隆做准备。 在消费级显卡上搭建本地文本转语音流程。
- ComfyUI-Drama3 怎么安装和运行?
- 通过 ComfyUI-Manager 或 Comfy Registry 安装节点: comfy node install drama3 将仓库克隆到 custom_nodes 并重启 ComfyUI: cd ComfyUI/custom_nodes git clone https://github.com/PedroMarinhoDev/ComfyUI-Drama3 从 Hugging Face 下载模型权重: hf download PedroMarinhoDev/Drama-3-ComfyUI drama3_fp8experts_bf16.safetensors --local-dir ComfyUI/models/diffusion_models 在 ComfyUI 中打开语音克隆示例工作流并运行
- 在哪里获取 ComfyUI-Drama3?
- 源代码和安装说明在 GitHub 上:https://github.com/PedroMarinhoDev/ComfyUI-Drama3
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
将 Ming-3.0-tts 语音生成模型(0.5B 与 Tiny 9B)移植为原生 ComfyUI 节点。
微软开源的语音 AI 模型系列,包含长音频语音识别、多人对话语音合成和实时流式语音合成。
基于 ggml 的 C++ 语音工具,支持语音合成、语音识别和语音活动检测,可在 Metal、Vulkan 或 CPU 上运行。
基于 Apple MLX 框架、在 Apple Silicon 上运行的语音合成、语音识别与语音转语音 Python 库。
VoxCPM2 是一个开源的免分词器语音合成模型,支持 30 种语言、文本描述设计音色和参考音频克隆。