Repolode
Enviar
tonyd2wild

tonyd2wild/DeepSeek-V4.1-Flash-vLLM-DGX-Spark

Registro de ejecución y benchmarking de DeepSeek-V4.1-Flash (552B MoE) en cuatro NVIDIA DGX Spark con TensorFold y vLLM, incluidos los scripts de lanzamiento y los resultados medidos.

Ver en GitHub
Estrellas
131
Forks
21
Issues abiertos
0
Último commit
anteayer

¿Qué es?

Este repositorio documenta cómo servir el modelo mixture-of-experts DeepSeek-V4.1-Flash-1017, de 552B parámetros, en un clúster de máquinas NVIDIA DGX Spark (GB10). Se organiza en «lanes», cada una con una configuración completa que combina un motor de inferencia, un paquete de pesos cuantizados, la cantidad de nodos, scripts de lanzamiento y resultados de benchmarking. Las lanes principales usan el motor nativo de TensorFold con los pesos cuantizados EXL3 de LibertAI en cuatro o dos Sparks, con una ventana de contexto de 1M tokens; también se conservan las lanes anteriores de vLLM con sus parches y benchmarks.

Cada lane incluye una carpeta de ejecución con los scripts, ajustes, logs y resultados usados para obtener las cifras publicadas, como los tokens por segundo con distintos niveles de concurrencia, la velocidad de prefill en frío y una evaluación de uso de herramientas con 69 escenarios. Una variante opcional sin censura aplica un overlay de abliteration a los pesos de salida de atención, y el repositorio informa de las diferencias en velocidad y evaluaciones de seguridad respecto a la lane estándar.

El proyecto está dirigido a desarrolladores que quieran ejecutar un modelo de pesos abiertos de gran tamaño en hardware local GB10 con varios nodos y prefieran configuraciones reproducibles en lugar de una simple ficha del modelo.

Funciones clave

  • 01Sirve DeepSeek-V4.1-Flash-1017 con paralelismo tensorial en cuatro o dos nodos DGX Spark.
  • 02Incluye scripts de lanzamiento para TensorFold y vLLM, junto con archivos de configuración documentados.
  • 03Incluye tablas de benchmarking por lane con el rendimiento, el tiempo hasta el primer token y la velocidad de prefill.
  • 04Admite una ventana de contexto de 1 048 576 tokens en la lane TensorFold TP4.
  • 05Permite usar chat, llamadas a herramientas, modo de razonamiento y entrada de imágenes mediante un endpoint compatible con OpenAI.
  • 06Publica una evaluación de uso de herramientas con 69 escenarios junto con los resultados de cada lane.

Casos de uso

  • Ejecutar un modelo MoE de pesos abiertos de gran tamaño en un pequeño clúster local de máquinas GB10.
  • Reproducir las cifras publicadas de rendimiento y latencia antes de adoptar una configuración similar.
  • Comparar motores de inferencia (TensorFold, vLLM) y formatos de cuantización en el mismo hardware.
  • Estudiar cómo distribuir un modelo grande entre varios nodos mediante redes RDMA.

Temas

#llm-inference#deepseek#vllm#tensor-parallelism#quantization#exl3#nvidia-dgx-spark#moe

Preguntas frecuentes

¿Qué es DeepSeek-V4.1-Flash-vLLM-DGX-Spark?
Registro de ejecución y benchmarking de DeepSeek-V4.1-Flash (552B MoE) en cuatro NVIDIA DGX Spark con TensorFold y vLLM, incluidos los scripts de lanzamiento y los resultados medidos. Este repositorio documenta cómo servir el modelo mixture-of-experts DeepSeek-V4.1-Flash-1017, de 552B parámetros, en un clúster de máquinas NVIDIA DGX Spark (GB10). Se organiza en «lanes», cada una con una configuración completa que combina un motor de inferencia, un paquete de pesos cuantizados, la cantidad de nodos, scripts de lanzamiento y resultados de benchmarking. Las lanes principales usan el motor nativo de TensorFold con los pesos cuantizados EXL3 de LibertAI en cuatro o dos Sparks, con una ventana de contexto de 1M tokens; también se conservan las lanes anteriores de vLLM con sus parches y benchmarks.
¿DeepSeek-V4.1-Flash-vLLM-DGX-Spark es gratuito? ¿Qué licencia tiene?
DeepSeek-V4.1-Flash-vLLM-DGX-Spark es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿DeepSeek-V4.1-Flash-vLLM-DGX-Spark sigue mantenido?
Mantenimiento activo. El último commit de DeepSeek-V4.1-Flash-vLLM-DGX-Spark fue el 19 oct 2026.
¿Para qué puedo usar DeepSeek-V4.1-Flash-vLLM-DGX-Spark?
Ejecutar un modelo MoE de pesos abiertos de gran tamaño en un pequeño clúster local de máquinas GB10. Reproducir las cifras publicadas de rendimiento y latencia antes de adoptar una configuración similar. Comparar motores de inferencia (TensorFold, vLLM) y formatos de cuantización en el mismo hardware. Estudiar cómo distribuir un modelo grande entre varios nodos mediante redes RDMA.
¿Dónde consigo DeepSeek-V4.1-Flash-vLLM-DGX-Spark?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/tonyd2wild/DeepSeek-V4.1-Flash-vLLM-DGX-Spark

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados