Repolode
Enviar
bertholomus

bertholomus/deepseek-v4.1-tensorfold-tp2-2xgb10

Receta para servir DeepSeek-V4.1-Flash-1017 con paralelismo tensorial en dos nodos NVIDIA DGX Spark (GB10) mediante el motor TensorFold TP2.

Ver en GitHubSitio web
Estrellas
64
Forks
6
Issues abiertos
13
Último commit
anteayer

¿Qué es?

Este repositorio ofrece una receta para servir DeepSeek-V4.1-Flash-1017 en dos nodos NVIDIA DGX Spark (GB10). El modelo se distribuye entre ambas máquinas mediante paralelismo tensorial (TP2) y se ejecuta con el motor basado en TensorFold de los autores, que expone un servidor con una ventana de contexto de 1 048 576 tokens por solicitud.

Los pesos son una cuantización EXL3 de 2,5 bpw publicada por separado por los mismos autores, por lo que el modelo cabe entre los dos nodos. El repositorio no contiene los pesos; incluye los pasos para compilar el motor, un kit de kernels, ejemplos de configuración y scripts de inicio (serve.sh y config.env.example). Entre las funciones del servidor descritas se incluyen la salida estructurada, las llamadas a herramientas forzadas y automáticas, las entradas de imagen y la conservación del estado de los prompts para reanudar conversaciones largas.

El proyecto documenta el rendimiento medido de decodificación y prefill en la configuración de dos nodos, y sus notas de versión comparan distintas versiones. Esta configuración de paralelismo tensorial es la alternativa de dos nodos a una receta independiente para cuatro nodos de los mismos autores.

Funciones clave

  • 01Sirve DeepSeek-V4.1-Flash-1017 con paralelismo tensorial en dos nodos DGX Spark (GB10).
  • 02Ofrece una ventana de contexto de 1 048 576 tokens por solicitud.
  • 03Admite salida estructurada y llamadas a herramientas en el formato DSML de DeepSeek.
  • 04Acepta imágenes mediante la torre de visión.
  • 05Incluye scripts de inicio, ejemplos de configuración y un kit de kernels.

Casos de uso

  • Ejecutar localmente un modelo grande de DeepSeek en un par de máquinas de clase GB10.
  • Servir prompts de contexto largo y reanudar conversaciones extensas desde estados guardados.
  • Comparar el rendimiento de decodificación y prefill con paralelismo tensorial en hardware DGX Spark.

Inicio rápido

  1. 1

    Lee RUNNING.md para consultar la compilación del motor, los pesos y las entradas en tiempo de ejecución

  2. 2

    Configura config.env a partir de config.env.example y ejecuta scripts/serve.sh en ambos nodos

Antes de usarlo

  • La configuración tensor-parallel requiere dos nodos NVIDIA DGX Spark (GB10).
  • Los pesos no están incluidos y deben obtenerse por separado en Hugging Face.
  • Las tablas de Engram se leen en tiempo de ejecución desde los shards 47 y 48 originales de DeepSeek.

En colecciones

Entrena y ejecuta IA en GPU

Temas

#llm#tensor-parallelism#inference#deepseek#model-serving#quantization#nvidia#gpu

Preguntas frecuentes

¿Qué es deepseek-v4.1-tensorfold-tp2-2xgb10?
Receta para servir DeepSeek-V4.1-Flash-1017 con paralelismo tensorial en dos nodos NVIDIA DGX Spark (GB10) mediante el motor TensorFold TP2. Este repositorio ofrece una receta para servir DeepSeek-V4.1-Flash-1017 en dos nodos NVIDIA DGX Spark (GB10). El modelo se distribuye entre ambas máquinas mediante paralelismo tensorial (TP2) y se ejecuta con el motor basado en TensorFold de los autores, que expone un servidor con una ventana de contexto de 1 048 576 tokens por solicitud.
¿deepseek-v4.1-tensorfold-tp2-2xgb10 es gratuito? ¿Qué licencia tiene?
deepseek-v4.1-tensorfold-tp2-2xgb10 es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿deepseek-v4.1-tensorfold-tp2-2xgb10 sigue mantenido?
Mantenimiento activo. El último commit de deepseek-v4.1-tensorfold-tp2-2xgb10 fue el 4 nov 2026.
¿Para qué puedo usar deepseek-v4.1-tensorfold-tp2-2xgb10?
Ejecutar localmente un modelo grande de DeepSeek en un par de máquinas de clase GB10. Servir prompts de contexto largo y reanudar conversaciones extensas desde estados guardados. Comparar el rendimiento de decodificación y prefill con paralelismo tensorial en hardware DGX Spark.
¿Cómo se instala deepseek-v4.1-tensorfold-tp2-2xgb10?
Lee RUNNING.md para consultar la compilación del motor, los pesos y las entradas en tiempo de ejecución Configura config.env a partir de config.env.example y ejecuta scripts/serve.sh en ambos nodos
¿Dónde consigo deepseek-v4.1-tensorfold-tp2-2xgb10?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/bertholomus/deepseek-v4.1-tensorfold-tp2-2xgb10

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados