Receita para servir o DeepSeek-V4.1-Flash-1017 (EXL3 2.9 bpw) em dois NVIDIA DGX Sparks como uma API compatível com OpenAI, com janela de 1 milhão de tokens.
13421ShellApache-2.0Atualizado há 9 horas
tonyd2wild/DeepSeek-V4.1-Flash-vLLM-DGX-Spark
Registro de execução e benchmark do DeepSeek-V4.1-Flash (552B MoE) em quatro NVIDIA DGX Spark, usando TensorFold e vLLM, com scripts de inicialização e resultados medidos.
- Estrelas
- 131
- Forks
- 21
- Issues abertas
- 0
- Último commit
- anteontem
O que é?
Este repositório documenta como servir o modelo mixture-of-experts DeepSeek-V4.1-Flash-1017, com 552B de parâmetros, em um cluster de máquinas NVIDIA DGX Spark (GB10). Ele é organizado em “lanes”, cada uma reunindo uma configuração completa com um mecanismo de inferência, um pacote de pesos quantizados, o número de nós, scripts de inicialização e resultados de benchmark. As principais lanes usam o mecanismo nativo do TensorFold com pesos quantizados EXL3 da LibertAI em quatro ou dois Sparks, com janela de contexto de 1M de tokens; as lanes mais antigas com vLLM também são mantidas, junto com seus patches e benchmarks.
Cada lane tem uma pasta de execução com os scripts, as configurações, os logs e os resultados usados para gerar os números apresentados, como tokens por segundo em diferentes níveis de concorrência, velocidade de prefill a frio e uma avaliação de tool calling com 69 cenários. Uma variante opcional sem censura aplica um overlay de abliteration aos pesos de saída da atenção, e o repositório apresenta as diferenças de velocidade e de avaliação de segurança em relação à lane padrão.
O projeto é voltado a desenvolvedores que querem executar localmente um modelo muito grande de pesos abertos em hardware GB10 com vários nós e preferem configurações reproduzíveis a apenas um model card.
Recursos principais
- 01Serve o DeepSeek-V4.1-Flash-1017 com paralelismo tensorial em quatro ou dois nós DGX Spark.
- 02Disponibiliza scripts de inicialização para TensorFold e vLLM, com arquivos de configuração documentados.
- 03Inclui tabelas de benchmark por lane para throughput, tempo até o primeiro token e velocidade de prefill.
- 04Oferece uma janela de contexto de 1.048.576 tokens na lane TensorFold TP4.
- 05Abrange chat, tool calling, modo de raciocínio e entrada de imagens por meio de um endpoint compatível com OpenAI.
- 06Publica uma avaliação de uso de ferramentas com 69 cenários junto com os resultados de cada lane.
Casos de uso
- Executar um modelo MoE de pesos abertos muito grande em um pequeno cluster local de máquinas GB10.
- Reproduzir os números publicados de throughput e latência antes de adotar uma configuração semelhante.
- Comparar mecanismos de inferência (TensorFold, vLLM) e formatos de quantização no mesmo hardware.
- Estudar como distribuir um modelo grande entre nós usando rede RDMA.
Tópicos
Perguntas frequentes
- O que é DeepSeek-V4.1-Flash-vLLM-DGX-Spark?
- Registro de execução e benchmark do DeepSeek-V4.1-Flash (552B MoE) em quatro NVIDIA DGX Spark, usando TensorFold e vLLM, com scripts de inicialização e resultados medidos. Este repositório documenta como servir o modelo mixture-of-experts DeepSeek-V4.1-Flash-1017, com 552B de parâmetros, em um cluster de máquinas NVIDIA DGX Spark (GB10). Ele é organizado em “lanes”, cada uma reunindo uma configuração completa com um mecanismo de inferência, um pacote de pesos quantizados, o número de nós, scripts de inicialização e resultados de benchmark. As principais lanes usam o mecanismo nativo do TensorFold com pesos quantizados EXL3 da LibertAI em quatro ou dois Sparks, com janela de contexto de 1M de tokens; as lanes mais antigas com vLLM também são mantidas, junto com seus patches e benchmarks.
- DeepSeek-V4.1-Flash-vLLM-DGX-Spark é gratuito? Qual é a licença?
- DeepSeek-V4.1-Flash-vLLM-DGX-Spark é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
- DeepSeek-V4.1-Flash-vLLM-DGX-Spark ainda é mantido?
- Manutenção ativa. O último commit de DeepSeek-V4.1-Flash-vLLM-DGX-Spark foi em 19 de out. de 2026.
- Para que posso usar DeepSeek-V4.1-Flash-vLLM-DGX-Spark?
- Executar um modelo MoE de pesos abertos muito grande em um pequeno cluster local de máquinas GB10. Reproduzir os números publicados de throughput e latência antes de adotar uma configuração semelhante. Comparar mecanismos de inferência (TensorFold, vLLM) e formatos de quantização no mesmo hardware. Estudar como distribuir um modelo grande entre nós usando rede RDMA.
- Onde consigo DeepSeek-V4.1-Flash-vLLM-DGX-Spark?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/tonyd2wild/DeepSeek-V4.1-Flash-vLLM-DGX-Spark
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Framework open source da DeepSeek para inferência offline do DeepSeek-V4.1-Flash em hardware NVIDIA SM100 e Huawei Ascend 950.
8,3 mil697PythonApache-2.0Atualizado há 8 horas
Biblioteca e servidor rápidos e eficientes em memória para executar e servir modelos de linguagem grandes com uma API compatível com a OpenAI.
94,2 mil23,6 milPythonApache-2.0Atualizado há 10 horas
Mecanismo de inferência local que executa o grande modelo Qwen3.8-Flash-Next em GPUs NVIDIA ou AMD de uso doméstico no Windows ou Linux, com APIs compatíveis com OpenAI e Anthropic.
29,1 mil3,1 milC++MITAtualizado há 2 horas
Um mecanismo nativo de inferência especializado para executar DeepSeek V4 Flash e outros modelos grandes selecionados em hardware Metal, CUDA e ROCm de consumo.
23,9 mil2,3 milCMITAtualizado ontem
Um mecanismo de inferência MoE nativo de edge que executa modelos grandes de pesos abertos, como DeepSeek-V4 e Qwen3.6, em GPUs e CPUs de consumo.
14,6 mil1,5 milPythonApache-2.0Atualizado ontem