MiaAI-Lab/DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks

O que é?

Recursos principais

• 01Disponibiliza uma API compatível com OpenAI na porta 8888, com uma janela de 1.048.576 tokens.
• 02Divide o modelo entre dois DGX Sparks, com paralelismo de tensores em dois por meio de uma conexão direta ConnectX-7.
• 03Oferece entrada de imagens, chamada de ferramentas e a opção de ativar ou desativar o modo de raciocínio em cada solicitação.
• 04Usa decodificação especulativa DSpark com os blocos de rascunho do próprio checkpoint.
• 05Inclui um monitor de memória que interrompe um rank quando a memória livre fica baixa demais.

Casos de uso

• Executar uma API local de LLM com contexto longo em duas máquinas da classe GB10.
• Avaliar um modelo DeepSeek quantizado em EXL3 de 2,9 bits e compará-lo ao comportamento do modelo sem quantização.
• Disponibilizar um endpoint compatível com clientes OpenAI para agentes que precisam de chamada de ferramentas e entrada de imagens.
• Estudar como configurar inferência com paralelismo de tensores em duas máquinas.

Início rápido

1. 1

   Instale o Hugging Face CLI no Spark principal

   pip install -U huggingface_hub
2. 2

   Configure os dois Sparks e inicie os ranks pelo Spark principal

   ./start.sh
3. 3

   Interrompa os dois ranks ao terminar

   ./stop.sh

Antes de usar

• !Requer dois NVIDIA DGX Sparks (ou sistemas GB10 com 128 GB cada) conectados por um cabo ConnectX-7 direto.
• !A quantização de 2.9 bpw é experimental e não há medições de perplexity nem KL em comparação com o modelo não quantizado.
• !Precisa de cerca de 196 GiB para o checkpoint e aproximadamente 203 GB adicionais para as tabelas no disco local, além de muita memória para contextos longos.

Tópicos

Perguntas frequentes

O que é DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks?

Receita para servir o DeepSeek-V4.1-Flash-1017 (EXL3 2.9 bpw) em dois NVIDIA DGX Sparks como uma API compatível com OpenAI, com janela de 1 milhão de tokens. Este repositório é uma receita de implantação que executa o modelo DeepSeek-V4.1-Flash-1017 dividido entre dois NVIDIA DGX Sparks (GB10, 128 GB cada), conectados por um cabo ConnectX-7 direto. O modelo usa paralelismo de tensores em dois, com um rank por máquina, no mecanismo Zig nativo do TensorFold e um checkpoint quantizado EXL3 de 2,9 bits. Um único script no primeiro Spark configura as duas máquinas, baixa os pesos e inicia os dois ranks.

DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks é gratuito? Qual é a licença?

DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.

DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks ainda é mantido?

Manutenção ativa. O último commit de DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks foi em 20 de out. de 2026.

Para que posso usar DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks?

Executar uma API local de LLM com contexto longo em duas máquinas da classe GB10. Avaliar um modelo DeepSeek quantizado em EXL3 de 2,9 bits e compará-lo ao comportamento do modelo sem quantização. Disponibilizar um endpoint compatível com clientes OpenAI para agentes que precisam de chamada de ferramentas e entrada de imagens. Estudar como configurar inferência com paralelismo de tensores em duas máquinas.

Como instalar DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks?

Instale o Hugging Face CLI no Spark principal: pip install -U huggingface_hub Configure os dois Sparks e inicie os ranks pelo Spark principal: ./start.sh Interrompa os dois ranks ao terminar: ./stop.sh

Onde consigo DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/MiaAI-Lab/DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks