Repolode
Enviar
MiaAI-Lab

MiaAI-Lab/DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold

Sirve DeepSeek-V4.1-Flash-1017 en cuatro NVIDIA DGX Sparks con paralelismo tensorial y una API compatible con OpenAI, con una opción de anillo sin switch.

Ver en GitHubSitio web
Estrellas
65
Forks
25
Issues abiertos
11
Último commit
hace 3 días

¿Qué es?

Esta receta sirve el checkpoint DeepSeek-V4.1-Flash-1017 de DeepSeek en sus formatos publicados FP8 y MXFP4, distribuido entre cuatro NVIDIA DGX Sparks (GB10, 128 GB cada uno), conectados mediante sus puertos ConnectX-7 y con paralelismo tensorial en los cuatro nodos. Expone una API compatible con OpenAI en el puerto 8888 que acepta texto, imágenes y video, admite llamadas a herramientas y permite activar o desactivar el modo de razonamiento en cada solicitud.

La configuración funciona tanto con un anillo entre Sparks cableado sin un switch RoCE (start-switchless.sh) como con una red conmutada convencional (start.sh). Los scripts preparan las cuatro máquinas, descargan el checkpoint una sola vez en el primer nodo, comparten los pesos mediante NFS e inician los procesos. Entre las funciones opcionales están la salida estructurada mediante response_format o los parámetros guided_*, la decodificación especulativa DSpark con los bloques de borrador del checkpoint y variantes opcionales de pesos NVFP4 o abliterated.

El motor es la implementación nativa en Zig de TensorFold, sobre la que se ha creado una familia DeepSeek-V4.1 y que cuenta con una serie de parches mantenidos en el repositorio.

Funciones clave

  • 01Ejecuta DeepSeek-V4.1-Flash-1017 con paralelismo tensorial en cuatro DGX Sparks.
  • 02Ofrece una API de chat compatible con OpenAI que acepta imágenes y video.
  • 03Admite llamadas a herramientas y salida estructurada con esquemas JSON o restricciones de gramática.
  • 04Funciona en un anillo de Sparks sin switch o en una red RoCE conmutada.
  • 05Incluye decodificación especulativa DSpark basada en los bloques de borrador del checkpoint.

Casos de uso

  • Alojar por cuenta propia un modelo grande de DeepSeek en un clúster pequeño de DGX Sparks.
  • Ofrecer chat multimodal con imágenes y video mediante un cliente compatible con OpenAI.
  • Ejecutar solicitudes simultáneas de contexto largo en hardware GB10 local.

Inicio rápido

  1. 1

    Clona el repositorio en spark1

    git clone https://github.com/MiaAI-Lab/DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold.git
  2. 2

    Entra en el directorio y crea el archivo de configuración local

    cd DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold && cp scripts/local.sh.example scripts/local.sh
  3. 3

    Configura WORKER, WORKER2 y WORKER3 en scripts/local.sh como spark2, spark3 y spark4, respectivamente

  4. 4

    Inicia la configuración del anillo (usa ./start.sh en su lugar si los Sparks están conectados a un switch)

    ./start-switchless.sh

Antes de usarlo

  • Requiere cuatro NVIDIA DGX Sparks (128 GB cada uno) conectados mediante puertos ConnectX-7, por lo que no resulta práctico con hardware convencional.
  • Necesita unos 830 GB de espacio en disco en spark1 para los archivos de checkpoint y pesos, además de unos 100 GB de memoria libre en cada Spark.
  • Se basa en un motor de inferencia bifurcado (rama TensorFold) y en una serie de parches locales, lo que aumenta la complejidad del mantenimiento y la configuración.

Temas

#llm#inference#tensor-parallelism#deepseek#openai-compatible-api#nvidia-dgx#speculative-decoding

Preguntas frecuentes

¿Qué es DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold?
Sirve DeepSeek-V4.1-Flash-1017 en cuatro NVIDIA DGX Sparks con paralelismo tensorial y una API compatible con OpenAI, con una opción de anillo sin switch. Esta receta sirve el checkpoint DeepSeek-V4.1-Flash-1017 de DeepSeek en sus formatos publicados FP8 y MXFP4, distribuido entre cuatro NVIDIA DGX Sparks (GB10, 128 GB cada uno), conectados mediante sus puertos ConnectX-7 y con paralelismo tensorial en los cuatro nodos. Expone una API compatible con OpenAI en el puerto 8888 que acepta texto, imágenes y video, admite llamadas a herramientas y permite activar o desactivar el modo de razonamiento en cada solicitud.
¿DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold es gratuito? ¿Qué licencia tiene?
DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold sigue mantenido?
Mantenimiento activo. El último commit de DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold fue el 4 nov 2026.
¿Para qué puedo usar DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold?
Alojar por cuenta propia un modelo grande de DeepSeek en un clúster pequeño de DGX Sparks. Ofrecer chat multimodal con imágenes y video mediante un cliente compatible con OpenAI. Ejecutar solicitudes simultáneas de contexto largo en hardware GB10 local.
¿Cómo se instala DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold?
Clona el repositorio en spark1: git clone https://github.com/MiaAI-Lab/DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold.git Entra en el directorio y crea el archivo de configuración local: cd DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold && cp scripts/local.sh.example scripts/local.sh Configura WORKER, WORKER2 y WORKER3 en scripts/local.sh como spark2, spark3 y spark4, respectivamente Inicia la configuración del anillo (usa ./start.sh en su lugar si los Sparks están conectados a un switch): ./start-switchless.sh
¿Dónde consigo DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/MiaAI-Lab/DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados