Receta para servir DeepSeek-V4.1-Flash-1017 (EXL3, 2.9 bpw) en dos NVIDIA DGX Sparks como API compatible con OpenAI, con una ventana de 1 M de tokens.
13421ShellApache-2.0Actualizado hace 8 horas
#tensor-parallelism
Proyectos open source sobre «tensor-parallelism»
Repositorios de GitHub seleccionados relacionados con tensor-parallelism, con resúmenes de IA y métricas clave.
Ordenar:Añadidos recientemente
2 repositorios
Registro de ejecución y benchmarking de DeepSeek-V4.1-Flash (552B MoE) en cuatro NVIDIA DGX Spark con TensorFold y vLLM, incluidos los scripts de lanzamiento y los resultados medidos.
13121PythonMITActualizado anteayer