deepseek-ai/DeepEP

这是什么？

核心功能

• 01为 MoE 模型提供专家并行的 dispatch 与 combine 内核，支持 FP8 分发。
• 02通过统一的 EPBuffer 接口同时支持高吞吐与低延迟模式。
• 03由 DeepJIT 在运行时为当前 GPU 编译通信内核。
• 04支持基于 NVLink 的冗余专家权重预取与梯度归约。
• 05提供实验性的批量集合通信以及基于 RDMA 的流水线并行收发。

适用场景

• 在多 GPU、多节点上训练大规模 Mixture-of-Experts 模型。
• 为需要快速专家路由的 MoE 模型提供预填充与解码阶段的推理服务。
• 在 NVLink 域内复制热门专家，实现自定义的专家负载均衡。

快速上手

1. 1

   安装 NCCL 依赖

   python -m pip install "nvidia-nccl-cu13>=2.32.3" --no-deps
2. 2

   初始化 DeepJIT 子模块

   git submodule update --init --recursive
3. 3

   构建 wheel 并安装到当前 Python 环境

   bash install.sh
4. 4

   在你的 Python 项目中导入 deep_ep

使用前须知

• !需要 Linux 系统和 NVIDIA Hopper 或更新的 GPU。
• !多节点通信需要 RDMA 网络，节点内通信需要 NVLink。
• !Bucket、Engram 和 PP 功能仍处于实验阶段。

标签

常见问题

DeepEP 是什么？

面向 MoE 专家并行的 GPU 通信库，提供 dispatch 与 combine 所需的高吞吐、低延迟 all-to-all 内核。 DeepEP 是一个面向大规模机器学习训练与推理的通信库，核心是为 Mixture-of-Experts 模型提供专家并行（EP）的 all-to-all GPU 内核，负责把 token 分发到各专家并在完成计算后合并回原始 rank，支持 FP8 分发。它通过统一的 EPBuffer 接口同时提供高吞吐与低延迟两种模式，通信内核由 DeepJIT 在运行时编译。

DeepEP 可以免费使用吗？用的什么许可证？

DeepEP 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

DeepEP 还在维护吗？

活跃维护中。DeepEP 最近一次提交是在 2026年10月16日。

DeepEP 适合用来做什么？

在多 GPU、多节点上训练大规模 Mixture-of-Experts 模型。 为需要快速专家路由的 MoE 模型提供预填充与解码阶段的推理服务。 在 NVLink 域内复制热门专家，实现自定义的专家负载均衡。

DeepEP 怎么安装和运行？

安装 NCCL 依赖: python -m pip install "nvidia-nccl-cu13>=2.32.3" --no-deps 初始化 DeepJIT 子模块: git submodule update --init --recursive 构建 wheel 并安装到当前 Python 环境: bash install.sh 在你的 Python 项目中导入 deep_ep

在哪里获取 DeepEP？

源代码和安装说明在 GitHub 上：https://github.com/deepseek-ai/DeepEP