Biblioteca de comunicação GPU para dispatch e combine de MoE com paralelismo de especialistas, FP8 e suporte a NVLink/RDMA para treinamento e inferência.
10,3 mil1,5 milCudaMITAtualizado há 5 dias
deepseek-ai/DeepInfer
Framework open source da DeepSeek para inferência offline do DeepSeek-V4.1-Flash em hardware NVIDIA SM100 e Huawei Ascend 950.
- Estrelas
- 8,284
- Forks
- 697
- Issues abertas
- 78
- Último commit
- há 12 horas
O que é?
DeepInfer é um framework de inferência da DeepSeek para servir modelos grandes da DeepSeek. Esta versão oferece inferência offline para o DeepSeek-V4.1-Flash, com kernels otimizados, um runtime de modelo e sampler e opções de paralelismo, incluindo paralelismo de dados de attention, paralelismo de contexto e paralelismo de experts de MoE com EPLB.
O framework inclui speculative decoding (DSpark) com verificação agendada por nível de confiança, replay limitado de SWA para reduzir o trabalho de prefill do decoder e um scheduler assíncrono de batches que sobrepõe o agendamento na CPU à execução no dispositivo. Também oferece inferência invariável a batches, sampling determinístico e saídas estruturadas limitadas por regex, JSON schema ou gramática EBNF.
DeepInfer funciona no Linux com Python 3.12 e CUDA 13 para GPUs NVIDIA, ou CANN 9.2 para NPUs Ascend. Esta versão não inclui um sistema de cache KV nem desagregação de prefill/decode, necessários para um serviço de produção completo.
Recursos principais
- 01Inferência offline para DeepSeek-V4.1-Flash com kernels otimizados e runtime de sampler
- 02Paralelismo de dados de attention, paralelismo de contexto e paralelismo de experts de MoE com EPLB
- 03Speculative decoding DSpark com verificação agendada por nível de confiança
- 04Agendamento assíncrono de batches que sobrepõe o trabalho da CPU à execução no dispositivo
- 05Inferência invariável a batches e sampling determinístico em GPUs NVIDIA
- 06Saídas estruturadas limitadas por regex, JSON schema ou gramática EBNF
Casos de uso
- Executar inferência offline em batches com DeepSeek-V4.1-Flash em GPUs NVIDIA SM100
- Gerar JSON ou outras saídas de modelo grande limitadas por schema
- Estudar como a DeepSeek serve modelos MoE com paralelismo de experts e speculative decoding
- Implantar modelos da DeepSeek em NPUs Huawei Ascend 950
Início rápido
- 1
Crie e ative um ambiente vazio de Python 3.12
- 2
Defina o acelerador como NVIDIA
export DEEPINFER_ACCELERATOR=nvidia - 3
Compile o DeepInfer a partir do código-fonte
./build.sh - 4
Execute a inferência offline (o checkpoint padrão é baixado na primeira execução)
python examples/offline_inference.py
Antes de usar
- Funciona apenas em GPUs NVIDIA SM100 ou NPUs Huawei Ascend 950 e requer Linux, CUDA 13 ou CANN 9.2.
- Oferece suporte apenas ao modelo DeepSeek-V4.1-Flash.
- Esta versão de código aberto não inclui um sistema KV cache nem a desagregação de prefill/decode, portanto não é uma pilha de serving completa.
- Alguns recursos, como inferência batch-invariant e amostragem determinística, estão disponíveis apenas em NVIDIA.
Tópicos
Perguntas frequentes
- O que é DeepInfer?
- Framework open source da DeepSeek para inferência offline do DeepSeek-V4.1-Flash em hardware NVIDIA SM100 e Huawei Ascend 950. DeepInfer é um framework de inferência da DeepSeek para servir modelos grandes da DeepSeek. Esta versão oferece inferência offline para o DeepSeek-V4.1-Flash, com kernels otimizados, um runtime de modelo e sampler e opções de paralelismo, incluindo paralelismo de dados de attention, paralelismo de contexto e paralelismo de experts de MoE com EPLB.
- DeepInfer é gratuito? Qual é a licença?
- DeepInfer é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- DeepInfer ainda é mantido?
- Manutenção ativa. O último commit de DeepInfer foi em 20 de out. de 2026.
- Para que posso usar DeepInfer?
- Executar inferência offline em batches com DeepSeek-V4.1-Flash em GPUs NVIDIA SM100 Gerar JSON ou outras saídas de modelo grande limitadas por schema Estudar como a DeepSeek serve modelos MoE com paralelismo de experts e speculative decoding Implantar modelos da DeepSeek em NPUs Huawei Ascend 950
- Como instalar DeepInfer?
- Crie e ative um ambiente vazio de Python 3.12 Defina o acelerador como NVIDIA: export DEEPINFER_ACCELERATOR=nvidia Compile o DeepInfer a partir do código-fonte: ./build.sh Execute a inferência offline (o checkpoint padrão é baixado na primeira execução): python examples/offline_inference.py
- Onde consigo DeepInfer?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/deepseek-ai/DeepInfer
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Biblioteca e servidor rápidos e eficientes em memória para executar e servir modelos de linguagem grandes com uma API compatível com a OpenAI.
94,2 mil23,6 milPythonApache-2.0Atualizado há 13 horas
SGLang é um framework open source de inferência para servir modelos de linguagem, visão-linguagem e difusão em diversas plataformas com GPU, TPU e CPU.
37,5 mil9,7 milPythonApache-2.0Atualizado há 13 horas
Um mecanismo nativo de inferência especializado para executar DeepSeek V4 Flash e outros modelos grandes selecionados em hardware Metal, CUDA e ROCm de consumo.
23,9 mil2,3 milCMITAtualizado ontem
Receita para servir o DeepSeek-V4.1-Flash-1017 (EXL3 2.9 bpw) em dois NVIDIA DGX Sparks como uma API compatível com OpenAI, com janela de 1 milhão de tokens.
13421ShellApache-2.0Atualizado há 13 horas
Registro de execução e benchmark do DeepSeek-V4.1-Flash (552B MoE) em quatro NVIDIA DGX Spark, usando TensorFold e vLLM, com scripts de inicialização e resultados medidos.
13121PythonMITAtualizado anteontem