modelscope/DiffSynth-Studio

これは何？

主な機能

• 01画像、動画、音声、音楽生成向けの主要なオープンソースモデルを統合。
• 02ディスク、メモリ、VRAMへのレイヤー単位の配置により、VRAMの少ないGPUでも大規模モデルを実行。
• 03NF4、INT8などへの量子化により、推論とLoRA学習に必要なメモリを削減。
• 04ベースモデル、LoRA、追加入力に対応するアダプターモデルの学習をサポート。
• 05Split Trainingにより、勾配計算を伴わない処理を学習段階から切り離し、学習を高速化。
• 06一般向けGPUでのLoRA学習に使えるCPUオフロード学習。

ユースケース

• VRAMが限られた一般向けGPUで、大規模な画像・動画生成モデルを実行する。
• 1台のワークステーションでDiffusionモデル用のLoRAアダプターを学習する。
• 統一されたPythonフレームワーク上で、ControlNet、画像編集、動画生成モデルを試す。
• 新たに公開されたオープンソースDiffusionモデル向けに、独自の推論・学習パイプラインを構築する。

使う前に知っておきたいこと

• !READMEによると、開発を担当するメンテナーは少数のため、新機能の追加やIssueへの対応に時間がかかる場合があります。
• !メジャーバージョンの更新後、一部の古い機能はメンテナンスされていません。

トピック

よくある質問

DiffSynth-Studio とは？

低VRAMでの推論・学習に対応した、画像・動画・音声生成向けのオープンソースDiffusionモデルエンジン。 DiffSynth-Studioは、ModelScope Communityが開発する、Diffusionモデルの実行と学習のためのPythonフレームワークです。画像生成・編集、動画生成、音声・音楽生成、画像品質評価など、幅広い主要なオープンソースモデルを統合しています。

DiffSynth-Studio は無料で使えますか？ライセンスは？

DiffSynth-Studio は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

DiffSynth-Studio は今もメンテナンスされていますか？

活発にメンテナンス中。DiffSynth-Studio の最終コミットは 2026年10月20日 です。

DiffSynth-Studio は何に使えますか？

VRAMが限られた一般向けGPUで、大規模な画像・動画生成モデルを実行する。 1台のワークステーションでDiffusionモデル用のLoRAアダプターを学習する。 統一されたPythonフレームワーク上で、ControlNet、画像編集、動画生成モデルを試す。 新たに公開されたオープンソースDiffusionモデル向けに、独自の推論・学習パイプラインを構築する。

DiffSynth-Studio はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/modelscope/DiffSynth-Studio