Repolode
apple-aiml-research

apple-aiml-research/ml-stable-diffusion

将 Stable Diffusion 模型转换为 Core ML 格式,并在 Apple 芯片设备上生成图像的 Python 与 Swift 工具包。

Star
17,968
Fork
1,080
未关闭 Issue
192
最近提交
上个月

这是什么?

ml-stable-diffusion 是 Apple 推出的工具包,用于借助 Core ML 在 Apple 芯片上运行 Stable Diffusion。项目包含两部分:一个 Python 包,可将 Hugging Face 上的 PyTorch 模型转换为 Core ML 模型文件,并基于 diffusers 生成图像;一个 Swift 包,可加入 Xcode 工程,在 macOS、iOS 或 iPadOS 应用中直接调用这些模型。

转换工具支持 Stable Diffusion 1.x、2.x、XL 和 3 等版本,非 XL 模型还支持 ControlNet。项目提供多种权重压缩方式,包括低至 6 bit 的调色板量化、用于进一步减小体积的混合位宽调色板量化,以及面向新芯片的激活量化。Hugging Face Hub 上也发布了预转换好的模型。

项目文档中的运行环境要求为:转换需要 macOS 13.1 及以上,运行时需要 iOS 16.2 及以上,硬件方面支持 M1 及更新的 Mac 与 iPad,以及 A14 及更新的 iPhone。

核心功能

  • 01将 Stable Diffusion 的 PyTorch 模型转换为 Core ML 的 .mlpackage 文件。
  • 02提供基于 Hugging Face diffusers 的 Python 命令行工具与推理流程。
  • 03提供 Swift 包,便于在 Apple 平台应用中集成图像生成功能。
  • 04支持 SD 1.x、2.x、SDXL 和 SD 3,非 XL 模型还支持 ControlNet。
  • 05提供从 6 bit 调色板压缩到混合位宽调色板压缩等多种权重压缩选项。

适用场景

  • 在 Mac 或 iPad 上本地运行 Stable Diffusion,无需云端 GPU。
  • 为基于 Swift 开发的 iOS 或 macOS 应用添加端侧图像生成功能。
  • 将微调后的 Stable Diffusion 模型转换为 Core ML 格式,部署到 Apple 设备。
  • 研究模型压缩方法,降低 iPhone 上的内存占用。

使用前须知

  • 仅面向 Apple Silicon 硬件,需要 M 系列 Mac 或 iPad/iPhone 设备。
  • 部分内存优化需要 macOS 14 或 iOS 17,且模型转换固定使用 Python 3.8 和 coremltools 7.0。

标签

常见问题

ml-stable-diffusion 是什么?
将 Stable Diffusion 模型转换为 Core ML 格式,并在 Apple 芯片设备上生成图像的 Python 与 Swift 工具包。 ml-stable-diffusion 是 Apple 推出的工具包,用于借助 Core ML 在 Apple 芯片上运行 Stable Diffusion。项目包含两部分:一个 Python 包,可将 Hugging Face 上的 PyTorch 模型转换为 Core ML 模型文件,并基于 diffusers 生成图像;一个 Swift 包,可加入 Xcode 工程,在 macOS、iOS 或 iPadOS 应用中直接调用这些模型。
ml-stable-diffusion 可以免费使用吗?用的什么许可证?
ml-stable-diffusion 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
ml-stable-diffusion 还在维护吗?
半年内有更新。ml-stable-diffusion 最近一次提交是在 2026年9月11日。
ml-stable-diffusion 适合用来做什么?
在 Mac 或 iPad 上本地运行 Stable Diffusion,无需云端 GPU。 为基于 Swift 开发的 iOS 或 macOS 应用添加端侧图像生成功能。 将微调后的 Stable Diffusion 模型转换为 Core ML 格式,部署到 Apple 设备。 研究模型压缩方法,降低 iPhone 上的内存占用。
在哪里获取 ml-stable-diffusion?
源代码和安装说明在 GitHub 上:https://github.com/apple-aiml-research/ml-stable-diffusion

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目