Repolode
提交项目
modelscope

modelscope/DiffSynth-Studio

面向图像、视频和音频生成的开源 Diffusion 模型引擎，支持低显存推理与训练。

在 GitHub 查看
Star
13,276
Fork
1,318
未关闭 Issue
566
最近提交
12小时前

这是什么？

DiffSynth-Studio 是一个用于运行和训练 Diffusion 模型的 Python 框架，由 ModelScope 社区开发维护。它集成了多种主流开源模型，覆盖图像生成与编辑、视频生成、音频与音乐生成以及图像质量评估等任务。

项目的重点是让大模型在普通硬件上也能运行。框架会在磁盘、内存和显存之间调度模型参数，使显存有限的消费级显卡也能完成推理；同时支持 NF4、INT8 等量化格式，进一步降低推理和 LoRA 训练的显存占用。大多数支持推理的模型也支持训练，包括基础模型、LoRA 以及带额外输入的适配器。

此外，项目提供拆分训练模式，将文本编码、VAE 编码等无需梯度的计算放到数据处理阶段，并支持 CPU Offload 训练和差分 LoRA 训练。基于它还有面向 ComfyUI 的 DiffSynth-ComfyUI 和用于 LoRA 训练的 DiffSynth-WebUI。

核心功能

  • 01集成图像、视频、音频和音乐生成的主流开源模型。
  • 02在磁盘、内存和显存之间分层调度参数，可在低显存显卡上运行大模型。
  • 03支持 NF4、INT8 等量化格式，降低推理和 LoRA 训练的显存占用。
  • 04支持基础模型、LoRA 以及带额外输入的适配器训练。
  • 05拆分训练模式将无需梯度的计算提前到数据处理阶段，加快训练速度。
  • 06支持 CPU Offload 训练，便于在消费级显卡上训练 LoRA。

适用场景

  • 在显存有限的消费级显卡上运行大型图像或视频生成模型。
  • 在单台工作站上训练 Diffusion 模型的 LoRA 适配器。
  • 在统一的 Python 框架中尝试 ControlNet、图像编辑或视频生成等模型。
  • 为新发布的开源 Diffusion 模型搭建自定义推理或训练流程。

使用前须知

  • README 称项目开发人员有限,新功能开发和问题响应可能较慢。
  • 大版本更新后,部分旧功能已不再维护。

标签

#diffusion-models#image-generation#video-generation#lora#quantization#pytorch#text-to-image#low-vram

常见问题

DiffSynth-Studio 是什么？
面向图像、视频和音频生成的开源 Diffusion 模型引擎，支持低显存推理与训练。 DiffSynth-Studio 是一个用于运行和训练 Diffusion 模型的 Python 框架，由 ModelScope 社区开发维护。它集成了多种主流开源模型，覆盖图像生成与编辑、视频生成、音频与音乐生成以及图像质量评估等任务。
DiffSynth-Studio 可以免费使用吗？用的什么许可证？
DiffSynth-Studio 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
DiffSynth-Studio 还在维护吗？
活跃维护中。DiffSynth-Studio 最近一次提交是在 2026年10月20日。
DiffSynth-Studio 适合用来做什么？
在显存有限的消费级显卡上运行大型图像或视频生成模型。 在单台工作站上训练 Diffusion 模型的 LoRA 适配器。 在统一的 Python 框架中尝试 ControlNet、图像编辑或视频生成等模型。 为新发布的开源 Diffusion 模型搭建自定义推理或训练流程。
在哪里获取 DiffSynth-Studio？
源代码和安装说明在 GitHub 上：https://github.com/modelscope/DiffSynth-Studio

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目