deepseek-ai/DeepEP

これは何？

主な機能

• 01FP8 dispatchに対応した、MoEモデル向けexpert-parallel all-to-all dispatch／combineカーネル。
• 02高スループットモードと低レイテンシモードの両方をカバーする単一のEPBufferインターフェース。
• 03現在のGPU向けに、DeepJITが通信カーネルを実行時にコンパイル。
• 04動的な冗長expert向けのNVLink weight prefetchと勾配削減。
• 05実験的なbatched collectiveと、RDMA経由のpipeline-parallel send/recv。

ユースケース

• 複数のGPUやノードにまたがる大規模なMixture-of-Expertsモデルの学習。
• 高速なexpert routingが必要なprefill／decodingフェーズを含む、MoEモデルのサービング。
• NVLinkドメイン内でホットなexpertを複製する、独自のexpert負荷分散の構築。

クイックスタート

1. 1

   NCCL の依存関係をインストールする

   python -m pip install "nvidia-nccl-cu13>=2.32.3" --no-deps
2. 2

   DeepJIT サブモジュールを初期化する

   git submodule update --init --recursive
3. 3

   wheel をビルドし、現在の Python 環境にインストールする

   bash install.sh
4. 4

   Python プロジェクトで deep_ep をインポートする

使う前に知っておきたいこと

• !Linux と NVIDIA Hopper 以降の GPU が必要です。
• !マルチノード通信には RDMA ネットワークが必要で、ノード内での利用には NVLink が必要です。
• !Bucket、Engram、PP の各機能は実験的なものです。

トピック

よくある質問

DeepEP とは？

学習と推論に向けた、FP8 dispatchとNVLink/RDMAに対応するexpert-parallel MoE向けGPU通信ライブラリ。 DeepEPは、大規模な機械学習の学習と推論に対応する通信ライブラリです。中核となるのは、Mixture-of-Expertsモデル向けのexpert-parallel（EP）all-to-all GPUカーネルで、トークンを各expertへdispatchし、元のrankへcombineして戻す処理を担います。FP8 dispatchにも対応しています。単一のEPBufferインターフェースで高スループットモードと低レイテンシモードを提供し、通信カーネルはDeepJITを通じて実行時にコンパイルされます。

DeepEP は無料で使えますか？ライセンスは？

DeepEP は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

DeepEP は今もメンテナンスされていますか？

活発にメンテナンス中。DeepEP の最終コミットは 2026年10月16日 です。

DeepEP は何に使えますか？

複数のGPUやノードにまたがる大規模なMixture-of-Expertsモデルの学習。 高速なexpert routingが必要なprefill／decodingフェーズを含む、MoEモデルのサービング。 NVLinkドメイン内でホットなexpertを複製する、独自のexpert負荷分散の構築。

DeepEP のインストール方法は？

NCCL の依存関係をインストールする: python -m pip install "nvidia-nccl-cu13>=2.32.3" --no-deps DeepJIT サブモジュールを初期化する: git submodule update --init --recursive wheel をビルドし、現在の Python 環境にインストールする: bash install.sh Python プロジェクトで deep_ep をインポートする

DeepEP はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/deepseek-ai/DeepEP