基于节点图的扩散模型图形界面、API 与后端,可在本地生成图像、视频、音频和 3D 内容。
apple-aiml-research/ml-stable-diffusion
将 Stable Diffusion 模型转换为 Core ML 格式,并在 Apple 芯片设备上生成图像的 Python 与 Swift 工具包。
- Star
- 17,968
- Fork
- 1,080
- 未关闭 Issue
- 192
- 最近提交
- 上个月
这是什么?
ml-stable-diffusion 是 Apple 推出的工具包,用于借助 Core ML 在 Apple 芯片上运行 Stable Diffusion。项目包含两部分:一个 Python 包,可将 Hugging Face 上的 PyTorch 模型转换为 Core ML 模型文件,并基于 diffusers 生成图像;一个 Swift 包,可加入 Xcode 工程,在 macOS、iOS 或 iPadOS 应用中直接调用这些模型。
转换工具支持 Stable Diffusion 1.x、2.x、XL 和 3 等版本,非 XL 模型还支持 ControlNet。项目提供多种权重压缩方式,包括低至 6 bit 的调色板量化、用于进一步减小体积的混合位宽调色板量化,以及面向新芯片的激活量化。Hugging Face Hub 上也发布了预转换好的模型。
项目文档中的运行环境要求为:转换需要 macOS 13.1 及以上,运行时需要 iOS 16.2 及以上,硬件方面支持 M1 及更新的 Mac 与 iPad,以及 A14 及更新的 iPhone。
核心功能
- 01将 Stable Diffusion 的 PyTorch 模型转换为 Core ML 的 .mlpackage 文件。
- 02提供基于 Hugging Face diffusers 的 Python 命令行工具与推理流程。
- 03提供 Swift 包,便于在 Apple 平台应用中集成图像生成功能。
- 04支持 SD 1.x、2.x、SDXL 和 SD 3,非 XL 模型还支持 ControlNet。
- 05提供从 6 bit 调色板压缩到混合位宽调色板压缩等多种权重压缩选项。
适用场景
- 在 Mac 或 iPad 上本地运行 Stable Diffusion,无需云端 GPU。
- 为基于 Swift 开发的 iOS 或 macOS 应用添加端侧图像生成功能。
- 将微调后的 Stable Diffusion 模型转换为 Core ML 格式,部署到 Apple 设备。
- 研究模型压缩方法,降低 iPhone 上的内存占用。
使用前须知
- 仅面向 Apple Silicon 硬件,需要 M 系列 Mac 或 iPad/iPhone 设备。
- 部分内存优化需要 macOS 14 或 iOS 17,且模型转换固定使用 Python 3.8 和 coremltools 7.0。
标签
常见问题
- ml-stable-diffusion 是什么?
- 将 Stable Diffusion 模型转换为 Core ML 格式,并在 Apple 芯片设备上生成图像的 Python 与 Swift 工具包。 ml-stable-diffusion 是 Apple 推出的工具包,用于借助 Core ML 在 Apple 芯片上运行 Stable Diffusion。项目包含两部分:一个 Python 包,可将 Hugging Face 上的 PyTorch 模型转换为 Core ML 模型文件,并基于 diffusers 生成图像;一个 Swift 包,可加入 Xcode 工程,在 macOS、iOS 或 iPadOS 应用中直接调用这些模型。
- ml-stable-diffusion 可以免费使用吗?用的什么许可证?
- ml-stable-diffusion 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
- ml-stable-diffusion 还在维护吗?
- 半年内有更新。ml-stable-diffusion 最近一次提交是在 2026年9月11日。
- ml-stable-diffusion 适合用来做什么?
- 在 Mac 或 iPad 上本地运行 Stable Diffusion,无需云端 GPU。 为基于 Swift 开发的 iOS 或 macOS 应用添加端侧图像生成功能。 将微调后的 Stable Diffusion 模型转换为 Core ML 格式,部署到 Apple 设备。 研究模型压缩方法,降低 iPhone 上的内存占用。
- 在哪里获取 ml-stable-diffusion?
- 源代码和安装说明在 GitHub 上:https://github.com/apple-aiml-research/ml-stable-diffusion
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
基于 Stable Diffusion 的开源工具,用于生成角色一致的连环画图像和长序列图生视频。
一款原生 macOS 应用,在 Apple Silicon 上本地运行 Stable Diffusion 和 FLUX.2 Klein 生成图片。
基于 Apple MLX 原生实现的图像生成模型集合,可在 Mac 上本地运行 FLUX、Z-Image、Qwen Image 等模型。
面向 Apple 芯片的 Swift 端侧语音 SDK,涵盖语音转文字、文字转语音和说话人分离。
基于 Swift 和 Metal 的运行时,在约 2 GB 内存的 Apple Silicon Mac 上运行 Gemma 4 26B-A4B 模型。