Repolode
apple-aiml-research

apple-aiml-research/ml-stable-diffusion

Stable DiffusionのPyTorchモデルをCore MLに変換し、PythonパッケージとSwiftパッケージを通じてApple Siliconデバイスで画像を生成します。

スター
17,968
フォーク
1,080
未解決の Issue
192
最終コミット
先月

これは何?

ml-stable-diffusionは、Core MLを使ってApple Silicon上でStable Diffusionを実行するためのApple製ツールキットです。Hugging FaceのPyTorchチェックポイントをCore MLモデルファイルに変換し、diffusersライブラリで画像を生成するPythonパッケージと、macOS、iOS、iPadOSアプリ内でCore MLモデルを実行できるようXcodeプロジェクトに追加するSwiftパッケージの2つで構成されています。

変換処理はStable Diffusion 1.x、2.x、XL、3の各バリアントに対応し、XL以外のモデルではControlNetも利用できます。また、6ビットまでのパレタイゼーション、モデルサイズをさらに抑える混合ビットパレタイゼーション、新しいチップ向けのアクティベーション量子化など、重みの圧縮オプションも備えています。変換済みモデルはHugging Face Hubで公開されています。

このプロジェクトが示す対象要件は、変換にはmacOS 13.1以降、実行時にはiOS 16.2以降で、M1世代以降のMacとiPad、およびA14以降のiPhoneが必要です。公開されているベンチマークは、複数のiPhone、iPad、Macモデルを対象としています。

主な機能

  • 01Stable DiffusionのPyTorchチェックポイントをCore MLの.mlpackageファイルに変換します。
  • 02Hugging Face diffusersをベースにしたPython CLIとパイプラインを提供します。
  • 03Apple製アプリに画像生成を組み込むためのSwiftパッケージを提供します。
  • 04SD 1.x、2.x、SDXL、SD 3の各モデルバリアントに加え、XL以外のモデルではControlNetに対応します。
  • 056ビットのパレタイゼーションから混合ビットパレタイゼーションまで、重みの圧縮に対応します。

ユースケース

  • クラウドGPUを使わずに、MacやiPadでStable Diffusionをローカル実行する。
  • Swiftで開発したiOSまたはmacOSアプリに、デバイス上で動作する画像生成機能を追加する。
  • ファインチューニングしたStable Diffusionのチェックポイントを、Appleデバイス向けにCore MLへ変換する。
  • モデル圧縮を試し、iPhoneでのメモリ使用量を削減する。

使う前に知っておきたいこと

  • Apple Silicon ハードウェアのみが対象で、MシリーズのMacまたはiPad/iPhoneデバイスが必要です。
  • 一部のメモリ改善機能にはmacOS 14またはiOS 17が必要です。また、変換にはPython 3.8とcoremltools 7.0が固定で使用されます。

トピック

よくある質問

ml-stable-diffusion とは?
Stable DiffusionのPyTorchモデルをCore MLに変換し、PythonパッケージとSwiftパッケージを通じてApple Siliconデバイスで画像を生成します。 ml-stable-diffusionは、Core MLを使ってApple Silicon上でStable Diffusionを実行するためのApple製ツールキットです。Hugging FaceのPyTorchチェックポイントをCore MLモデルファイルに変換し、diffusersライブラリで画像を生成するPythonパッケージと、macOS、iOS、iPadOSアプリ内でCore MLモデルを実行できるようXcodeプロジェクトに追加するSwiftパッケージの2つで構成されています。
ml-stable-diffusion は無料で使えますか?ライセンスは?
ml-stable-diffusion は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
ml-stable-diffusion は今もメンテナンスされていますか?
半年以内に更新あり。ml-stable-diffusion の最終コミットは 2026年9月11日 です。
ml-stable-diffusion は何に使えますか?
クラウドGPUを使わずに、MacやiPadでStable Diffusionをローカル実行する。 Swiftで開発したiOSまたはmacOSアプリに、デバイス上で動作する画像生成機能を追加する。 ファインチューニングしたStable Diffusionのチェックポイントを、Appleデバイス向けにCore MLへ変換する。 モデル圧縮を試し、iPhoneでのメモリ使用量を削減する。
ml-stable-diffusion はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/apple-aiml-research/ml-stable-diffusion

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト