Framework open source da DeepSeek para inferência offline do DeepSeek-V4.1-Flash em hardware NVIDIA SM100 e Huawei Ascend 950.
8,3 mil697PythonApache-2.0Atualizado ontem
deepseek-ai/DeepEP
Biblioteca de comunicação GPU para dispatch e combine de MoE com paralelismo de especialistas, FP8 e suporte a NVLink/RDMA para treinamento e inferência.
- Estrelas
- 10,294
- Forks
- 1,481
- Issues abertas
- 299
- Último commit
- há 5 dias
O que é?
DeepEP é uma biblioteca de comunicação para treinamento e inferência de machine learning em larga escala. Seu núcleo consiste em kernels GPU all-to-all com paralelismo de especialistas (EP) para modelos Mixture-of-Experts, que distribuem tokens entre especialistas e os combinam de volta em seus ranks de origem, incluindo dispatch em FP8. A biblioteca oferece modos de alta vazão e baixa latência por meio de uma única interface EPBuffer, e os kernels de comunicação são compilados em tempo de execução pelo DeepJIT.
Além de EP, o projeto inclui primitivas experimentais para paralelismo de pipeline, paralelismo de contexto e de dados por meio de batched all-gather, reduce-scatter e all-reduce, além de acesso remoto à memória para armazenamento Engram. Também oferece recursos auxiliares para especialistas redundantes dinâmicos, como prefetch de pesos via NVLink e redução de gradientes dentro de um domínio NVLink.
A biblioteca é voltada para Linux com GPUs NVIDIA Hopper ou mais recentes, PyTorch com CUDA e NCCL. O tráfego intranó usa NVLink, enquanto o tráfego entre nós usa redes RDMA, como InfiniBand ou RoCE.
Recursos principais
- 01Kernels all-to-all de dispatch e combine com paralelismo de especialistas para modelos MoE, com suporte a dispatch em FP8.
- 02Uma única interface EPBuffer que abrange os modos de alta vazão e baixa latência.
- 03Kernels de comunicação compilados em tempo de execução pelo DeepJIT para a GPU em uso.
- 04Prefetch de pesos via NVLink e redução de gradientes para especialistas redundantes dinâmicos.
- 05Collectives em lote experimentais e operações send/recv com paralelismo de pipeline via RDMA.
Casos de uso
- Treinar modelos Mixture-of-Experts de grande porte em várias GPUs e nós.
- Servir modelos MoE com fases de prefill e decodificação que exigem roteamento rápido de especialistas.
- Criar balanceamento de carga personalizado entre especialistas, replicando os mais requisitados em um domínio NVLink.
Início rápido
- 1
Instale a dependência do NCCL
python -m pip install "nvidia-nccl-cu13>=2.32.3" --no-deps - 2
Inicialize o submódulo DeepJIT
git submodule update --init --recursive - 3
Crie um wheel e instale-o no ambiente Python atual
bash install.sh - 4
Importe deep_ep no seu projeto Python
Antes de usar
- Requer Linux e GPUs NVIDIA Hopper ou mais recentes.
- A comunicação entre vários nós requer uma rede RDMA, e o uso dentro de um mesmo nó requer NVLink.
- Os recursos Bucket, Engram e PP são experimentais.
Tópicos
Perguntas frequentes
- O que é DeepEP?
- Biblioteca de comunicação GPU para dispatch e combine de MoE com paralelismo de especialistas, FP8 e suporte a NVLink/RDMA para treinamento e inferência. DeepEP é uma biblioteca de comunicação para treinamento e inferência de machine learning em larga escala. Seu núcleo consiste em kernels GPU all-to-all com paralelismo de especialistas (EP) para modelos Mixture-of-Experts, que distribuem tokens entre especialistas e os combinam de volta em seus ranks de origem, incluindo dispatch em FP8. A biblioteca oferece modos de alta vazão e baixa latência por meio de uma única interface EPBuffer, e os kernels de comunicação são compilados em tempo de execução pelo DeepJIT.
- DeepEP é gratuito? Qual é a licença?
- DeepEP é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
- DeepEP ainda é mantido?
- Manutenção ativa. O último commit de DeepEP foi em 16 de out. de 2026.
- Para que posso usar DeepEP?
- Treinar modelos Mixture-of-Experts de grande porte em várias GPUs e nós. Servir modelos MoE com fases de prefill e decodificação que exigem roteamento rápido de especialistas. Criar balanceamento de carga personalizado entre especialistas, replicando os mais requisitados em um domínio NVLink.
- Como instalar DeepEP?
- Instale a dependência do NCCL: python -m pip install "nvidia-nccl-cu13>=2.32.3" --no-deps Inicialize o submódulo DeepJIT: git submodule update --init --recursive Crie um wheel e instale-o no ambiente Python atual: bash install.sh Importe deep_ep no seu projeto Python
- Onde consigo DeepEP?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/deepseek-ai/DeepEP
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
SGLang é um framework open source de inferência para servir modelos de linguagem, visão-linguagem e difusão em diversas plataformas com GPU, TPU e CPU.
37,5 mil9,7 milPythonApache-2.0Atualizado ontem
Um toolkit para compactar, implantar e servir LLMs e modelos de visão e linguagem, com engines de inferência TurboMind e PyTorch.
8,1 mil767PythonApache-2.0Atualizado há 5 horas
Biblioteca de otimização de deep learning que facilita e torna mais eficiente o treinamento distribuído e a inferência de modelos grandes.
43,2 mil5 milPythonApache-2.0Atualizado anteontem
Sistema baseado em PyTorch para treinamento e inferência distribuídos de grandes modelos de IA, com paralelismo, otimização de memória e treinamento heterogêneo.
IA e Machine Learning#deep-learning#distributed-training#model-parallelism#pipeline-parallelism#pytorch
41,4 mil4,5 milPythonApache-2.0Atualizado há 9 horas
Implementação oficial do FlashAttention, um kernel de atenção exata e eficiente em memória para treinar e executar inferência de modelos Transformer em GPUs.
25,2 mil3,2 milPythonBSD-3-ClauseAtualizado ontem