Repolode
Enviar
bertholomus

bertholomus/deepseek-v4.1-tensorfold-tp2-2xgb10

Uma receita para servir o DeepSeek-V4.1-Flash-1017 com paralelismo de tensores em dois nós NVIDIA DGX Spark (GB10), usando o mecanismo TensorFold TP2.

Ver no GitHubSite
Estrelas
64
Forks
6
Issues abertas
13
Último commit
há 3 dias

O que é?

Este repositório traz uma receita para servir o DeepSeek-V4.1-Flash-1017 em dois nós NVIDIA DGX Spark (GB10). O modelo é dividido entre as duas máquinas com paralelismo de tensores (TP2) e executado no mecanismo baseado em TensorFold dos autores, que disponibiliza um servidor com janela de contexto de 1.048.576 tokens por requisição.

Os pesos usam quantização EXL3 de 2,5 bpw, publicada separadamente pelos mesmos autores, para que o modelo caiba nos dois nós. O repositório não contém os pesos; inclui as etapas de compilação do mecanismo, um kit de kernels, exemplos de configuração e scripts de inicialização (serve.sh e config.env.example). Entre os recursos descritos do servidor estão saída estruturada, chamadas de ferramentas forçadas e automáticas, entrada de imagens e estados de prompt preservados para retomar conversas longas.

O projeto documenta o throughput medido de decode e prefill na configuração de dois nós, com notas de lançamento que comparam versões. Sua configuração de paralelismo de tensores para dois nós é a contraparte de uma receita separada dos mesmos autores para quatro nós.

Recursos principais

  • 01Serve o DeepSeek-V4.1-Flash-1017 com paralelismo de tensores em dois nós DGX Spark (GB10).
  • 02Oferece uma janela de contexto de 1.048.576 tokens por requisição.
  • 03Oferece suporte a saída estruturada e chamadas de ferramentas no formato DSML da DeepSeek.
  • 04Aceita imagens como entrada por meio da torre de visão.
  • 05Inclui scripts de inicialização, exemplos de configuração e um kit de kernels.

Casos de uso

  • Executar localmente um modelo grande da DeepSeek em um par de máquinas da classe GB10.
  • Atender prompts com contexto longo e retomar conversas extensas a partir de estados salvos.
  • Medir o throughput de decode e prefill com paralelismo de tensores em hardware DGX Spark.

Início rápido

  1. 1

    Leia RUNNING.md para consultar a compilação do mecanismo, os pesos e as entradas em tempo de execução

  2. 2

    Configure config.env com base em config.env.example e execute scripts/serve.sh nos dois nós

Antes de usar

  • A configuração tensor-parallel requer dois nós NVIDIA DGX Spark (GB10).
  • Os pesos não estão incluídos e devem ser obtidos separadamente no Hugging Face.
  • As tabelas Engram são lidas em tempo de execução dos shards 47 e 48 originais do DeepSeek.

Em coleções

Treine e execute IA em GPUs

Tópicos

#llm#tensor-parallelism#inference#deepseek#model-serving#quantization#nvidia#gpu

Perguntas frequentes

O que é deepseek-v4.1-tensorfold-tp2-2xgb10?
Uma receita para servir o DeepSeek-V4.1-Flash-1017 com paralelismo de tensores em dois nós NVIDIA DGX Spark (GB10), usando o mecanismo TensorFold TP2. Este repositório traz uma receita para servir o DeepSeek-V4.1-Flash-1017 em dois nós NVIDIA DGX Spark (GB10). O modelo é dividido entre as duas máquinas com paralelismo de tensores (TP2) e executado no mecanismo baseado em TensorFold dos autores, que disponibiliza um servidor com janela de contexto de 1.048.576 tokens por requisição.
deepseek-v4.1-tensorfold-tp2-2xgb10 é gratuito? Qual é a licença?
deepseek-v4.1-tensorfold-tp2-2xgb10 é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
deepseek-v4.1-tensorfold-tp2-2xgb10 ainda é mantido?
Manutenção ativa. O último commit de deepseek-v4.1-tensorfold-tp2-2xgb10 foi em 4 de nov. de 2026.
Para que posso usar deepseek-v4.1-tensorfold-tp2-2xgb10?
Executar localmente um modelo grande da DeepSeek em um par de máquinas da classe GB10. Atender prompts com contexto longo e retomar conversas extensas a partir de estados salvos. Medir o throughput de decode e prefill com paralelismo de tensores em hardware DGX Spark.
Como instalar deepseek-v4.1-tensorfold-tp2-2xgb10?
Leia RUNNING.md para consultar a compilação do mecanismo, os pesos e as entradas em tempo de execução Configure config.env com base em config.env.example e execute scripts/serve.sh nos dois nós
Onde consigo deepseek-v4.1-tensorfold-tp2-2xgb10?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/bertholomus/deepseek-v4.1-tensorfold-tp2-2xgb10

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados