Repolode
Enviar
MiaAI-Lab

MiaAI-Lab/DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks

Receta para servir DeepSeek-V4.1-Flash-1017 (EXL3, 2.9 bpw) en dos NVIDIA DGX Sparks como API compatible con OpenAI, con una ventana de 1 M de tokens.

Ver en GitHubSitio web
Estrellas
134
Forks
21
Issues abiertos
7
Último commit
hace 9 horas

¿Qué es?

Este repositorio contiene una receta de despliegue que ejecuta el modelo DeepSeek-V4.1-Flash-1017 repartido entre dos NVIDIA DGX Sparks (GB10, 128 GB cada uno), conectados mediante un cable ConnectX-7 directo. El modelo se ejecuta con paralelismo de tensores de grado dos, con un rango por máquina, mediante el motor nativo en Zig de TensorFold y un checkpoint cuantizado EXL3 de 2,9 bits. Un único script en el primer Spark configura ambas máquinas, descarga los pesos e inicia los dos rangos.

La API que se ofrece es compatible con OpenAI, funciona en el puerto 8888 y admite una ventana de contexto de 1.048.576 tokens, entrada de imágenes, llamadas a herramientas y un modo de razonamiento que se puede activar o desactivar. También utiliza decodificación especulativa DSpark con los bloques de borrador del propio checkpoint. Hay opciones para activar una variante abliterada mediante una capa superpuesta de acceso restringido, y un monitor de memoria que detiene un rango antes de que pueda bloquear una máquina.

El repositorio incluye scripts de benchmark, validación y comparación de resultados, además del rendimiento medido de prefill y decodificación en un par de Sparks y notas sobre los límites de memoria con contextos largos.

Funciones clave

  • 01Ofrece una API compatible con OpenAI en el puerto 8888, con una ventana de 1.048.576 tokens.
  • 02Reparte el modelo entre dos DGX Sparks con paralelismo de tensores de grado dos mediante un enlace ConnectX-7 directo.
  • 03Admite entrada de imágenes, llamadas a herramientas y activar o desactivar el razonamiento en cada solicitud.
  • 04Utiliza decodificación especulativa DSpark a partir de los bloques de borrador del checkpoint.
  • 05Incluye un monitor de memoria que detiene un rango cuando la memoria libre baja demasiado.

Casos de uso

  • Ejecutar una API LLM local con contexto largo en un par de máquinas de clase GB10.
  • Evaluar un modelo DeepSeek cuantizado con EXL3 de 2,9 bits y compararlo con su comportamiento sin cuantizar.
  • Ofrecer un endpoint compatible con clientes de OpenAI para agentes que necesitan llamadas a herramientas y entrada de imágenes.
  • Estudiar cómo se configura la inferencia con paralelismo de tensores en dos máquinas.

Inicio rápido

  1. 1

    Instala Hugging Face CLI en el Spark principal

    pip install -U huggingface_hub
  2. 2

    Configura ambos Sparks e inicia los ranks desde el Spark principal

    ./start.sh
  3. 3

    Detén ambos ranks al terminar

    ./stop.sh

Antes de usarlo

  • Requiere dos NVIDIA DGX Spark (o sistemas GB10 con 128 GB cada uno) conectados mediante un cable ConnectX-7 directo.
  • La cuantización de 2.9 bpw es experimental y no cuenta con mediciones de perplexity ni KL frente al modelo sin cuantizar.
  • Necesita unos 196 GiB para el checkpoint y unos 203 GB adicionales para las tablas en el disco local, además de mucha memoria para contextos largos.

Temas

#llm-inference#tensor-parallelism#quantization#openai-compatible-api#deepseek#exllama#speculative-decoding#dgx-spark

Preguntas frecuentes

¿Qué es DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks?
Receta para servir DeepSeek-V4.1-Flash-1017 (EXL3, 2.9 bpw) en dos NVIDIA DGX Sparks como API compatible con OpenAI, con una ventana de 1 M de tokens. Este repositorio contiene una receta de despliegue que ejecuta el modelo DeepSeek-V4.1-Flash-1017 repartido entre dos NVIDIA DGX Sparks (GB10, 128 GB cada uno), conectados mediante un cable ConnectX-7 directo. El modelo se ejecuta con paralelismo de tensores de grado dos, con un rango por máquina, mediante el motor nativo en Zig de TensorFold y un checkpoint cuantizado EXL3 de 2,9 bits. Un único script en el primer Spark configura ambas máquinas, descarga los pesos e inicia los dos rangos.
¿DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks es gratuito? ¿Qué licencia tiene?
DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks sigue mantenido?
Mantenimiento activo. El último commit de DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks fue el 20 oct 2026.
¿Para qué puedo usar DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks?
Ejecutar una API LLM local con contexto largo en un par de máquinas de clase GB10. Evaluar un modelo DeepSeek cuantizado con EXL3 de 2,9 bits y compararlo con su comportamiento sin cuantizar. Ofrecer un endpoint compatible con clientes de OpenAI para agentes que necesitan llamadas a herramientas y entrada de imágenes. Estudiar cómo se configura la inferencia con paralelismo de tensores en dos máquinas.
¿Cómo se instala DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks?
Instala Hugging Face CLI en el Spark principal: pip install -U huggingface_hub Configura ambos Sparks e inicia los ranks desde el Spark principal: ./start.sh Detén ambos ranks al terminar: ./stop.sh
¿Dónde consigo DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/MiaAI-Lab/DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados