deepseek-ai/DeepEP

어떤 프로젝트인가요?

핵심 기능

• 01MoE 모델을 위한 expert-parallel all-to-all 디스패치 및 결합 커널과 FP8 디스패치 지원.
• 02고처리량 모드와 저지연 모드를 모두 제공하는 단일 EPBuffer 인터페이스.
• 03현재 GPU에 맞춰 DeepJIT가 런타임에 컴파일하는 통신 커널.
• 04동적 중복 전문가를 위한 NVLink 가중치 프리페치 및 그래디언트 리덕션.
• 05RDMA를 통한 실험적 batched collective 및 파이프라인 병렬 send/recv.

활용 사례

• 여러 GPU와 노드에 걸쳐 대규모 Mixture-of-Experts 모델 학습.
• 빠른 전문가 라우팅이 필요한 prefill 및 디코딩 단계의 MoE 모델 서빙.
• NVLink 도메인 전체에 자주 사용되는 전문가를 복제하는 맞춤형 전문가 부하 분산 구현.

빠른 시작

1. 1

   NCCL 종속 항목을 설치합니다

   python -m pip install "nvidia-nccl-cu13>=2.32.3" --no-deps
2. 2

   DeepJIT 서브모듈을 초기화합니다

   git submodule update --init --recursive
3. 3

   wheel을 빌드해 현재 Python 환경에 설치합니다

   bash install.sh
4. 4

   Python 프로젝트에서 deep_ep를 임포트합니다

사용 전 알아둘 점

• !Linux와 NVIDIA Hopper 이상 GPU가 필요합니다.
• !다중 노드 통신에는 RDMA 네트워크가 필요하며, 노드 내 사용에는 NVLink가 필요합니다.
• !Bucket, Engram, PP 기능은 실험 단계입니다.

토픽

자주 묻는 질문

DeepEP은(는) 무엇인가요?

학습과 추론을 위해 FP8 디스패치 및 NVLink/RDMA를 지원하는 expert-parallel MoE 디스패치·결합용 GPU 통신 라이브러리입니다. DeepEP는 대규모 머신러닝 학습과 추론을 위한 통신 라이브러리입니다. 핵심은 Mixture-of-Experts 모델의 expert-parallel(EP) all-to-all GPU 커널로, 토큰을 전문가에게 디스패치하고 원래 rank로 다시 결합하는 작업을 지원하며 FP8 디스패치도 포함합니다. 단일 EPBuffer 인터페이스를 통해 고처리량 모드와 저지연 모드를 모두 제공하고, 통신 커널은 DeepJIT를 통해 런타임에 컴파일됩니다.

DeepEP은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

DeepEP은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

DeepEP은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. DeepEP의 마지막 커밋은 2026년 10월 16일입니다.

DeepEP은(는) 어디에 사용할 수 있나요?

여러 GPU와 노드에 걸쳐 대규모 Mixture-of-Experts 모델 학습. 빠른 전문가 라우팅이 필요한 prefill 및 디코딩 단계의 MoE 모델 서빙. NVLink 도메인 전체에 자주 사용되는 전문가를 복제하는 맞춤형 전문가 부하 분산 구현.

DeepEP는 어떻게 설치하나요?

NCCL 종속 항목을 설치합니다: python -m pip install "nvidia-nccl-cu13>=2.32.3" --no-deps DeepJIT 서브모듈을 초기화합니다: git submodule update --init --recursive wheel을 빌드해 현재 Python 환경에 설치합니다: bash install.sh Python 프로젝트에서 deep_ep를 임포트합니다

DeepEP은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/deepseek-ai/DeepEP