Repolode
Enviar
MiaAI-Lab

MiaAI-Lab/DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold

Serve o DeepSeek-V4.1-Flash-1017 em quatro NVIDIA DGX Sparks com paralelismo tensorial e uma API compatível com a OpenAI, com opção de anel sem switch.

Ver no GitHubSite
Estrelas
62
Forks
22
Issues abertas
11
Último commit
há 3 dias

O que é?

Esta receita serve o checkpoint DeepSeek-V4.1-Flash-1017 da DeepSeek no formato FP8 e MXFP4 publicado, distribuído entre quatro NVIDIA DGX Sparks (GB10, 128 GB cada), conectados pelas portas ConnectX-7 e usando paralelismo tensorial nos quatro nós. Ela disponibiliza uma API compatível com a OpenAI na porta 8888, que aceita entradas de texto, imagem e vídeo, oferece suporte a chamadas de ferramentas e permite ativar ou desativar o modo de raciocínio em cada solicitação.

A configuração funciona tanto com um anel entre os Sparks, conectado sem um switch RoCE (start-switchless.sh), quanto com uma rede comutada convencional (start.sh). Os scripts preparam as quatro máquinas, baixam o checkpoint uma única vez no primeiro nó, compartilham os pesos via NFS e iniciam os ranks. Os recursos opcionais incluem saída estruturada por meio de response_format ou parâmetros guided_*, decodificação especulativa DSpark usando os blocos de rascunho do checkpoint e variantes de pesos NVFP4 ou abliterated, que podem ser ativadas opcionalmente.

O mecanismo é a implementação nativa em Zig da TensorFold, sobre a qual foi construída uma família DeepSeek-V4.1, além de uma série de patches mantidos no repositório.

Recursos principais

  • 01Executa o DeepSeek-V4.1-Flash-1017 com paralelismo tensorial em quatro DGX Sparks.
  • 02Oferece uma API de chat compatível com a OpenAI que aceita entradas de imagem e vídeo.
  • 03Oferece suporte a chamadas de ferramentas e saída estruturada com restrições de JSON Schema ou gramática.
  • 04Funciona em um anel de Sparks sem switch ou em uma rede RoCE comutada.
  • 05Inclui decodificação especulativa DSpark com os blocos de rascunho do checkpoint.

Casos de uso

  • Hospedar por conta própria um modelo DeepSeek grande em um pequeno cluster de DGX Sparks.
  • Oferecer chat multimodal com entradas de imagem e vídeo para clientes no estilo OpenAI.
  • Executar solicitações concorrentes com contexto longo em hardware GB10 local.

Início rápido

  1. 1

    Clone o repositório em spark1

    git clone https://github.com/MiaAI-Lab/DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold.git
  2. 2

    Entre no diretório e crie o arquivo de configuração local

    cd DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold && cp scripts/local.sh.example scripts/local.sh
  3. 3

    Defina WORKER, WORKER2 e WORKER3 em scripts/local.sh como spark2, spark3 e spark4, respectivamente

  4. 4

    Inicie a configuração do anel (use ./start.sh no lugar se os Sparks estiverem conectados a um switch)

    ./start-switchless.sh

Antes de usar

  • Requer quatro NVIDIA DGX Sparks (128 GB cada) conectados por portas ConnectX-7, portanto não é prático em hardware comum.
  • Precisa de cerca de 830 GB de espaço em disco no spark1 para os arquivos de checkpoint e pesos, além de aproximadamente 100 GB de memória livre em cada Spark.
  • É baseado em um mecanismo de inferência bifurcado (branch TensorFold) e em um conjunto de patches locais, o que aumenta a complexidade da manutenção e da configuração.

Tópicos

#llm#inference#tensor-parallelism#deepseek#openai-compatible-api#nvidia-dgx#speculative-decoding

Perguntas frequentes

O que é DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold?
Serve o DeepSeek-V4.1-Flash-1017 em quatro NVIDIA DGX Sparks com paralelismo tensorial e uma API compatível com a OpenAI, com opção de anel sem switch. Esta receita serve o checkpoint DeepSeek-V4.1-Flash-1017 da DeepSeek no formato FP8 e MXFP4 publicado, distribuído entre quatro NVIDIA DGX Sparks (GB10, 128 GB cada), conectados pelas portas ConnectX-7 e usando paralelismo tensorial nos quatro nós. Ela disponibiliza uma API compatível com a OpenAI na porta 8888, que aceita entradas de texto, imagem e vídeo, oferece suporte a chamadas de ferramentas e permite ativar ou desativar o modo de raciocínio em cada solicitação.
DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold é gratuito? Qual é a licença?
DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold ainda é mantido?
Manutenção ativa. O último commit de DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold foi em 4 de nov. de 2026.
Para que posso usar DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold?
Hospedar por conta própria um modelo DeepSeek grande em um pequeno cluster de DGX Sparks. Oferecer chat multimodal com entradas de imagem e vídeo para clientes no estilo OpenAI. Executar solicitações concorrentes com contexto longo em hardware GB10 local.
Como instalar DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold?
Clone o repositório em spark1: git clone https://github.com/MiaAI-Lab/DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold.git Entre no diretório e crie o arquivo de configuração local: cd DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold && cp scripts/local.sh.example scripts/local.sh Defina WORKER, WORKER2 e WORKER3 em scripts/local.sh como spark2, spark3 e spark4, respectivamente Inicie a configuração do anel (use ./start.sh no lugar se os Sparks estiverem conectados a um switch): ./start-switchless.sh
Onde consigo DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/MiaAI-Lab/DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados