deepspeedai/DeepSpeed

これは何？

主な機能

• 01GPU間でオプティマイザーの状態、勾配、パラメーターを分割するZeROメモリ最適化。
• 02CPUメモリおよびNVMeストレージへのZeRO-Infinityオフロード。
• 03データ並列、テンソル並列、パイプライン並列を組み合わせた3D並列化。
• 04DeepSpeed-MoEによるMixture-of-Expertsモデルの学習と推論。
• 05モデルのサイズ縮小と高速化に役立つ圧縮・量子化ツール。
• 06Hugging Face Transformers、Accelerate、PyTorch Lightningとの連携。

ユースケース

• 複数GPUクラスターで数十億パラメーターの言語モデルを学習する。
• 単一GPUのメモリに収まらない大規模モデルで推論を実行する。
• シーケンス並列化を使って、非常に長い入力シーケンスで学習する。
• 既存のPyTorch学習パイプラインにメモリオフロードを追加する。

クイックスタート

1. 1

   まずPyTorchをインストールしてください（DeepSpeedのインストール前に必要です）

2. 2

   PyPIからDeepSpeedをインストールしてください

   pip install deepspeed

使う前に知っておきたいこと

• !DeepSpeedのインストール前にPyTorchをインストールする必要があります。また、C++/CUDA拡張機能にはCUDAまたはROCmのコンパイラが必要です。
• !NVIDIA Pascal～HopperおよびAMD MI100/MI200 GPUで最もよくテストされています。その他のハードウェアではサポートが限定的な場合があります。
• !大規模な分散トレーニング機能はマルチGPU環境を想定しており、セットアップが複雑になります。

トピック

よくある質問

DeepSpeed とは？

大規模モデルの分散学習と推論を、より簡単かつ効率的にする深層学習最適化ライブラリ。 DeepSpeedは、複数のGPUを使って大規模な深層学習モデルを学習・推論するための、PyTorchベースのライブラリです。ZeROによるメモリ分割、CPUやNVMeへのオフロードを行うZeRO-Infinity、データ並列・テンソル並列・パイプライン並列を組み合わせた3D並列化、長いシーケンス向けのUlyssesシーケンス並列化など、システムレベルの手法を提供します。

DeepSpeed は無料で使えますか？ライセンスは？

DeepSpeed は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

DeepSpeed は今もメンテナンスされていますか？

活発にメンテナンス中。DeepSpeed の最終コミットは 2026年10月19日 です。

DeepSpeed は何に使えますか？

複数GPUクラスターで数十億パラメーターの言語モデルを学習する。 単一GPUのメモリに収まらない大規模モデルで推論を実行する。 シーケンス並列化を使って、非常に長い入力シーケンスで学習する。 既存のPyTorch学習パイプラインにメモリオフロードを追加する。

DeepSpeed のインストール方法は？

まずPyTorchをインストールしてください（DeepSpeedのインストール前に必要です） PyPIからDeepSpeedをインストールしてください: pip install deepspeed

DeepSpeed はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/deepspeedai/DeepSpeed