Repolode
Enviar
deepseek-ai

deepseek-ai/DeepEP

Biblioteca de comunicación GPU para dispatch y combine de MoE con paralelismo de expertos, dispatch FP8 y compatibilidad con NVLink/RDMA para entrenamiento e inferencia.

Ver en GitHub
Estrellas
10,294
Forks
1,481
Issues abiertos
299
Último commit
hace 4 días

¿Qué es?

DeepEP es una biblioteca de comunicación para el entrenamiento y la inferencia de machine learning a gran escala. Su núcleo son kernels GPU all-to-all con paralelismo de expertos (EP) para modelos Mixture-of-Experts, que cubren el envío de tokens a los expertos y su combinación de vuelta en los ranks de origen, incluido el dispatch FP8. Ofrece modos de alto throughput y baja latencia mediante una única interfaz EPBuffer, y los kernels de comunicación se compilan en tiempo de ejecución con DeepJIT.

Además de EP, el proyecto incluye primitivas experimentales para paralelismo de pipeline, de contexto y de datos mediante all-gather por lotes, reduce-scatter y all-reduce, así como acceso remoto a memoria para el almacenamiento Engram. También ofrece utilidades para expertos redundantes dinámicos, como el prefetch de pesos por NVLink y la reducción de gradientes dentro de un dominio NVLink.

La biblioteca está diseñada para Linux con GPU NVIDIA Hopper o posteriores, PyTorch con CUDA y NCCL. Usa NVLink para el tráfico intranodo y redes RDMA como InfiniBand o RoCE para el tráfico internodo.

Funciones clave

  • 01Kernels all-to-all de dispatch y combine con paralelismo de expertos para modelos MoE, con compatibilidad con dispatch FP8.
  • 02Una única interfaz EPBuffer que cubre los modos de alto throughput y baja latencia.
  • 03Kernels de comunicación compilados en tiempo de ejecución por DeepJIT para la GPU actual.
  • 04Prefetch de pesos por NVLink y reducción de gradientes para expertos redundantes dinámicos.
  • 05Operaciones colectivas experimentales por lotes y envío/recepción con paralelismo de pipeline mediante RDMA.

Casos de uso

  • Entrenar modelos Mixture-of-Experts de gran tamaño en varias GPU y nodos.
  • Servir modelos MoE con fases de prefill y decoding que requieren un enrutamiento rápido de expertos.
  • Crear sistemas personalizados de balanceo de carga de expertos que repliquen los expertos más solicitados en un dominio NVLink.

Inicio rápido

  1. 1

    Instala la dependencia de NCCL

    python -m pip install "nvidia-nccl-cu13>=2.32.3" --no-deps
  2. 2

    Inicializa el submódulo DeepJIT

    git submodule update --init --recursive
  3. 3

    Crea un wheel e instálalo en el entorno de Python actual

    bash install.sh
  4. 4

    Importa deep_ep en tu proyecto de Python

Antes de usarlo

  • Requiere Linux y GPU NVIDIA Hopper o posterior.
  • La comunicación entre varios nodos requiere una red RDMA, y el uso dentro de un mismo nodo requiere NVLink.
  • Las funciones Bucket, Engram y PP son experimentales.

Temas

#moe#expert-parallelism#gpu#cuda#nccl#rdma#distributed-training#llm-inference

Preguntas frecuentes

¿Qué es DeepEP?
Biblioteca de comunicación GPU para dispatch y combine de MoE con paralelismo de expertos, dispatch FP8 y compatibilidad con NVLink/RDMA para entrenamiento e inferencia. DeepEP es una biblioteca de comunicación para el entrenamiento y la inferencia de machine learning a gran escala. Su núcleo son kernels GPU all-to-all con paralelismo de expertos (EP) para modelos Mixture-of-Experts, que cubren el envío de tokens a los expertos y su combinación de vuelta en los ranks de origen, incluido el dispatch FP8. Ofrece modos de alto throughput y baja latencia mediante una única interfaz EPBuffer, y los kernels de comunicación se compilan en tiempo de ejecución con DeepJIT.
¿DeepEP es gratuito? ¿Qué licencia tiene?
DeepEP es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿DeepEP sigue mantenido?
Mantenimiento activo. El último commit de DeepEP fue el 16 oct 2026.
¿Para qué puedo usar DeepEP?
Entrenar modelos Mixture-of-Experts de gran tamaño en varias GPU y nodos. Servir modelos MoE con fases de prefill y decoding que requieren un enrutamiento rápido de expertos. Crear sistemas personalizados de balanceo de carga de expertos que repliquen los expertos más solicitados en un dominio NVLink.
¿Cómo se instala DeepEP?
Instala la dependencia de NCCL: python -m pip install "nvidia-nccl-cu13>=2.32.3" --no-deps Inicializa el submódulo DeepJIT: git submodule update --init --recursive Crea un wheel e instálalo en el entorno de Python actual: bash install.sh Importa deep_ep en tu proyecto de Python
¿Dónde consigo DeepEP?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/deepseek-ai/DeepEP

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados