画像・動画・音声・3Dコンテンツをローカル生成するためのノードグラフGUI、API、バックエンド。
apple-aiml-research/ml-stable-diffusion
Stable DiffusionのPyTorchモデルをCore MLに変換し、PythonパッケージとSwiftパッケージを通じてApple Siliconデバイスで画像を生成します。
- スター
- 17,968
- フォーク
- 1,080
- 未解決の Issue
- 192
- 最終コミット
- 先月
これは何?
ml-stable-diffusionは、Core MLを使ってApple Silicon上でStable Diffusionを実行するためのApple製ツールキットです。Hugging FaceのPyTorchチェックポイントをCore MLモデルファイルに変換し、diffusersライブラリで画像を生成するPythonパッケージと、macOS、iOS、iPadOSアプリ内でCore MLモデルを実行できるようXcodeプロジェクトに追加するSwiftパッケージの2つで構成されています。
変換処理はStable Diffusion 1.x、2.x、XL、3の各バリアントに対応し、XL以外のモデルではControlNetも利用できます。また、6ビットまでのパレタイゼーション、モデルサイズをさらに抑える混合ビットパレタイゼーション、新しいチップ向けのアクティベーション量子化など、重みの圧縮オプションも備えています。変換済みモデルはHugging Face Hubで公開されています。
このプロジェクトが示す対象要件は、変換にはmacOS 13.1以降、実行時にはiOS 16.2以降で、M1世代以降のMacとiPad、およびA14以降のiPhoneが必要です。公開されているベンチマークは、複数のiPhone、iPad、Macモデルを対象としています。
主な機能
- 01Stable DiffusionのPyTorchチェックポイントをCore MLの.mlpackageファイルに変換します。
- 02Hugging Face diffusersをベースにしたPython CLIとパイプラインを提供します。
- 03Apple製アプリに画像生成を組み込むためのSwiftパッケージを提供します。
- 04SD 1.x、2.x、SDXL、SD 3の各モデルバリアントに加え、XL以外のモデルではControlNetに対応します。
- 056ビットのパレタイゼーションから混合ビットパレタイゼーションまで、重みの圧縮に対応します。
ユースケース
- クラウドGPUを使わずに、MacやiPadでStable Diffusionをローカル実行する。
- Swiftで開発したiOSまたはmacOSアプリに、デバイス上で動作する画像生成機能を追加する。
- ファインチューニングしたStable Diffusionのチェックポイントを、Appleデバイス向けにCore MLへ変換する。
- モデル圧縮を試し、iPhoneでのメモリ使用量を削減する。
使う前に知っておきたいこと
- Apple Silicon ハードウェアのみが対象で、MシリーズのMacまたはiPad/iPhoneデバイスが必要です。
- 一部のメモリ改善機能にはmacOS 14またはiOS 17が必要です。また、変換にはPython 3.8とcoremltools 7.0が固定で使用されます。
トピック
よくある質問
- ml-stable-diffusion とは?
- Stable DiffusionのPyTorchモデルをCore MLに変換し、PythonパッケージとSwiftパッケージを通じてApple Siliconデバイスで画像を生成します。 ml-stable-diffusionは、Core MLを使ってApple Silicon上でStable Diffusionを実行するためのApple製ツールキットです。Hugging FaceのPyTorchチェックポイントをCore MLモデルファイルに変換し、diffusersライブラリで画像を生成するPythonパッケージと、macOS、iOS、iPadOSアプリ内でCore MLモデルを実行できるようXcodeプロジェクトに追加するSwiftパッケージの2つで構成されています。
- ml-stable-diffusion は無料で使えますか?ライセンスは?
- ml-stable-diffusion は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- ml-stable-diffusion は今もメンテナンスされていますか?
- 半年以内に更新あり。ml-stable-diffusion の最終コミットは 2026年9月11日 です。
- ml-stable-diffusion は何に使えますか?
- クラウドGPUを使わずに、MacやiPadでStable Diffusionをローカル実行する。 Swiftで開発したiOSまたはmacOSアプリに、デバイス上で動作する画像生成機能を追加する。 ファインチューニングしたStable Diffusionのチェックポイントを、Appleデバイス向けにCore MLへ変換する。 モデル圧縮を試し、iPhoneでのメモリ使用量を削減する。
- ml-stable-diffusion はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/apple-aiml-research/ml-stable-diffusion
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
キャラクターの一貫性を保った漫画画像や、長距離の画像から動画へのシーケンスを生成するStable Diffusionベースのオープンソースツール。
Apple Silicon上でStable DiffusionとFLUX.2 Kleinを使い、画像をローカル生成できるmacOSネイティブアプリ。
FLUX、Z-Image、Qwen Imageなど近年の画像生成モデルをApple MLXでネイティブ実装し、Mac上でローカル実行できます。
Apple silicon上で音声認識、音声合成、話者ダイアライゼーションを完全オンデバイスで実行できるSwift SDK。
SSDからエキスパートをストリーミングし、約2 GBのメモリでApple Silicon Mac上で26B Gemma 4 26B-A4Bモデルを動かすSwift・Metalランタイム。