tonyd2wild/DeepSeek-V4.1-Flash-vLLM-DGX-Spark

这是什么？

核心功能

• 01在四台或两台 DGX Spark 节点上以张量并行方式运行 DeepSeek-V4.1-Flash-1017。
• 02提供 TensorFold 与 vLLM 的启动脚本及配置文件说明。
• 03每条方案附带吞吐、首 token 延迟和预填充速度的基准测试表。
• 04TensorFold TP4 方案支持 1,048,576 token 的上下文窗口。
• 05通过兼容 OpenAI 的接口支持聊天、工具调用、思考模式和图像输入。
• 06每条方案都附有 69 个场景的工具调用评测结果。

适用场景

• 在小型本地 GB10 机器集群上运行超大开源权重 MoE 模型。
• 在采用类似方案前，复现已发布的吞吐和延迟数据。
• 在相同硬件上比较推理引擎（TensorFold、vLLM）和量化格式。
• 研究如何借助 RDMA 网络将大模型拆分到多个节点上。

标签

常见问题

DeepSeek-V4.1-Flash-vLLM-DGX-Spark 是什么？

在四台 NVIDIA DGX Spark 上部署 DeepSeek-V4.1-Flash 的启动脚本、补丁与实测结果记录。 本仓库记录了如何在一组 NVIDIA DGX Spark（GB10）机器上部署拥有 552B 参数的 DeepSeek-V4.1-Flash-1017 混合专家（MoE）模型。内容按“lane”组织，每条 lane 是一套完整方案，包括推理引擎、量化权重、节点数量、启动脚本和基准测试数据。主线方案基于 TensorFold 原生引擎与 LibertAI 的 EXL3 量化权重，分别在四台或两台 Spark 上运行，支持 1M token 上下文；较早的 vLLM 方案及其补丁和测试也一并保留。

DeepSeek-V4.1-Flash-vLLM-DGX-Spark 可以免费使用吗？用的什么许可证？

DeepSeek-V4.1-Flash-vLLM-DGX-Spark 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

DeepSeek-V4.1-Flash-vLLM-DGX-Spark 还在维护吗？

活跃维护中。DeepSeek-V4.1-Flash-vLLM-DGX-Spark 最近一次提交是在 2026年10月19日。

DeepSeek-V4.1-Flash-vLLM-DGX-Spark 适合用来做什么？

在小型本地 GB10 机器集群上运行超大开源权重 MoE 模型。 在采用类似方案前，复现已发布的吞吐和延迟数据。 在相同硬件上比较推理引擎（TensorFold、vLLM）和量化格式。 研究如何借助 RDMA 网络将大模型拆分到多个节点上。

在哪里获取 DeepSeek-V4.1-Flash-vLLM-DGX-Spark？

源代码和安装说明在 GitHub 上：https://github.com/tonyd2wild/DeepSeek-V4.1-Flash-vLLM-DGX-Spark