Receta para servir DeepSeek-V4.1-Flash-1017 (EXL3, 2.9 bpw) en dos NVIDIA DGX Sparks como API compatible con OpenAI, con una ventana de 1 M de tokens.
283+43 esta semana44ShellApache-2.0Actualizado hace 14 horas
tonyd2wild/DeepSeek-V4.1-Flash-TP2-and-TP4-DGX-Sparks
Registro de ejecución y benchmarking de DeepSeek-V4.1-Flash (552B MoE) en cuatro NVIDIA DGX Spark con TensorFold y vLLM, incluidos los scripts de lanzamiento y los resultados medidos.
- Estrellas
- 145
- Forks
- 22
- Issues abiertos
- 0
- Último commit
- hace 3 días
¿Qué es?
Este repositorio documenta cómo servir el modelo mixture-of-experts DeepSeek-V4.1-Flash-1017, de 552B parámetros, en un clúster de máquinas NVIDIA DGX Spark (GB10). Se organiza en «lanes», cada una con una configuración completa que combina un motor de inferencia, un paquete de pesos cuantizados, la cantidad de nodos, scripts de lanzamiento y resultados de benchmarking. Las lanes principales usan el motor nativo de TensorFold con los pesos cuantizados EXL3 de LibertAI en cuatro o dos Sparks, con una ventana de contexto de 1M tokens; también se conservan las lanes anteriores de vLLM con sus parches y benchmarks.
Cada lane incluye una carpeta de ejecución con los scripts, ajustes, logs y resultados usados para obtener las cifras publicadas, como los tokens por segundo con distintos niveles de concurrencia, la velocidad de prefill en frío y una evaluación de uso de herramientas con 69 escenarios. Una variante opcional sin censura aplica un overlay de abliteration a los pesos de salida de atención, y el repositorio informa de las diferencias en velocidad y evaluaciones de seguridad respecto a la lane estándar.
El proyecto está dirigido a desarrolladores que quieran ejecutar un modelo de pesos abiertos de gran tamaño en hardware local GB10 con varios nodos y prefieran configuraciones reproducibles en lugar de una simple ficha del modelo.
Funciones clave
- 01Sirve DeepSeek-V4.1-Flash-1017 con paralelismo tensorial en cuatro o dos nodos DGX Spark.
- 02Incluye scripts de lanzamiento para TensorFold y vLLM, junto con archivos de configuración documentados.
- 03Incluye tablas de benchmarking por lane con el rendimiento, el tiempo hasta el primer token y la velocidad de prefill.
- 04Admite una ventana de contexto de 1 048 576 tokens en la lane TensorFold TP4.
- 05Permite usar chat, llamadas a herramientas, modo de razonamiento y entrada de imágenes mediante un endpoint compatible con OpenAI.
- 06Publica una evaluación de uso de herramientas con 69 escenarios junto con los resultados de cada lane.
Casos de uso
- Ejecutar un modelo MoE de pesos abiertos de gran tamaño en un pequeño clúster local de máquinas GB10.
- Reproducir las cifras publicadas de rendimiento y latencia antes de adoptar una configuración similar.
- Comparar motores de inferencia (TensorFold, vLLM) y formatos de cuantización en el mismo hardware.
- Estudiar cómo distribuir un modelo grande entre varios nodos mediante redes RDMA.
En colecciones
Temas
Preguntas frecuentes
- ¿Qué es DeepSeek-V4.1-Flash-TP2-and-TP4-DGX-Sparks?
- Registro de ejecución y benchmarking de DeepSeek-V4.1-Flash (552B MoE) en cuatro NVIDIA DGX Spark con TensorFold y vLLM, incluidos los scripts de lanzamiento y los resultados medidos. Este repositorio documenta cómo servir el modelo mixture-of-experts DeepSeek-V4.1-Flash-1017, de 552B parámetros, en un clúster de máquinas NVIDIA DGX Spark (GB10). Se organiza en «lanes», cada una con una configuración completa que combina un motor de inferencia, un paquete de pesos cuantizados, la cantidad de nodos, scripts de lanzamiento y resultados de benchmarking. Las lanes principales usan el motor nativo de TensorFold con los pesos cuantizados EXL3 de LibertAI en cuatro o dos Sparks, con una ventana de contexto de 1M tokens; también se conservan las lanes anteriores de vLLM con sus parches y benchmarks.
- ¿DeepSeek-V4.1-Flash-TP2-and-TP4-DGX-Sparks es gratuito? ¿Qué licencia tiene?
- DeepSeek-V4.1-Flash-TP2-and-TP4-DGX-Sparks es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿DeepSeek-V4.1-Flash-TP2-and-TP4-DGX-Sparks sigue mantenido?
- Mantenimiento activo. El último commit de DeepSeek-V4.1-Flash-TP2-and-TP4-DGX-Sparks fue el 22 oct 2026.
- ¿Para qué puedo usar DeepSeek-V4.1-Flash-TP2-and-TP4-DGX-Sparks?
- Ejecutar un modelo MoE de pesos abiertos de gran tamaño en un pequeño clúster local de máquinas GB10. Reproducir las cifras publicadas de rendimiento y latencia antes de adoptar una configuración similar. Comparar motores de inferencia (TensorFold, vLLM) y formatos de cuantización en el mismo hardware. Estudiar cómo distribuir un modelo grande entre varios nodos mediante redes RDMA.
- ¿Dónde consigo DeepSeek-V4.1-Flash-TP2-and-TP4-DGX-Sparks?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/tonyd2wild/DeepSeek-V4.1-Flash-TP2-and-TP4-DGX-Sparks
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Framework de inferencia offline de código abierto de DeepSeek para ejecutar DeepSeek-V4.1-Flash en hardware NVIDIA SM100 y Huawei Ascend 950.
21,8 mil+2 mil esta semana2,5 milPythonApache-2.0Actualizado hace 4 días
Un operador de Kubernetes para desplegar y gestionar servicios de inferencia de LLM, con planificación de GPU y gestión del ciclo de vida de modelos para SGLang, vLLM, TensorRT-LLM y Triton.
520+2 esta semana104GoApache-2.0Actualizado hace 16 horas
Herramienta en C++ que distribuye la inferencia de LLM entre varios dispositivos domésticos conectados por Ethernet para acelerar la generación.
3,1 mil258C++MITActualizado hace 11 días
Motor de alto rendimiento y fácil de usar para inferencia y serving de LLM, con un servidor API compatible con OpenAI.
553+1 esta semana46C++OtherActualizado hace 2 meses
Biblioteca de código abierto de NVIDIA para optimizar la inferencia de LLM y generación visual en GPU NVIDIA, con una API de Python y runtimes en C++ y Python.
14,9 mil+6 esta semana2,9 milPythonOtherActualizado hace 10 horas