Repolode
提交项目
bertholomus

bertholomus/deepseek-v4.1-tensorfold-tp2-2xgb10

在两台 NVIDIA DGX Spark（GB10）上以张量并行方式部署 DeepSeek-V4.1-Flash-1017 的推理配方。

在 GitHub 查看官网
Star
66
Fork
6
未关闭 Issue
13
最近提交
3天前

这是什么？

本仓库是 DeepSeek-V4.1-Flash-1017 在两台 NVIDIA DGX Spark（GB10）节点上的部署配方。模型通过张量并行（TP2）切分到两台机器上，运行在作者基于 TensorFold 开发的引擎之上，服务端每个请求支持 1,048,576 个 token 的上下文窗口。

模型权重为同一作者另行发布的 2.5 bpw EXL3 量化版本，以便能放进两个节点。本仓库本身不包含权重，而是提供引擎编译步骤、内核工具包、配置示例以及启动脚本（serve.sh 和 config.env.example）。服务端支持结构化输出、强制与自动工具调用、图像输入，以及可保存的提示状态，便于续接长对话。

项目记录了两节点环境下的解码与预填充吞吐量，并通过版本说明进行对比。它的双节点张量并行方案，是同一作者另一个四节点配方的对应版本。

核心功能

  • 01在两台 DGX Spark（GB10）节点上以张量并行方式运行 DeepSeek-V4.1-Flash-1017。
  • 02每个请求支持 1,048,576 个 token 的上下文窗口。
  • 03支持 DeepSeek DSML 格式的结构化输出与工具调用。
  • 04通过视觉模块处理图像输入。
  • 05附带启动脚本、配置示例和内核工具包。

适用场景

  • 在一对 GB10 级别的机器上本地运行大型 DeepSeek 模型。
  • 处理长上下文提示，并从保存的状态续接大型对话。
  • 在 DGX Spark 硬件上测试张量并行的解码与预填充吞吐量。

快速上手

  1. 1

    阅读 RUNNING.md 了解引擎构建、权重和运行时输入

  2. 2

    根据 config.env.example 创建 config.env，并在两个节点上使用 scripts/serve.sh 启动

使用前须知

  • 张量并行部署需要两台 NVIDIA DGX Spark (GB10) 节点。
  • 仓库不包含权重，需要另外从 Hugging Face 获取。
  • Engram 表在运行时从 DeepSeek 原始分片 47 和 48 读取。

收录于专题

GPU 加速的 AI 训练与推理工具

标签

#llm#tensor-parallelism#inference#deepseek#model-serving#quantization#nvidia#gpu

常见问题

deepseek-v4.1-tensorfold-tp2-2xgb10 是什么？
在两台 NVIDIA DGX Spark（GB10）上以张量并行方式部署 DeepSeek-V4.1-Flash-1017 的推理配方。 本仓库是 DeepSeek-V4.1-Flash-1017 在两台 NVIDIA DGX Spark（GB10）节点上的部署配方。模型通过张量并行（TP2）切分到两台机器上，运行在作者基于 TensorFold 开发的引擎之上，服务端每个请求支持 1,048,576 个 token 的上下文窗口。
deepseek-v4.1-tensorfold-tp2-2xgb10 可以免费使用吗？用的什么许可证？
deepseek-v4.1-tensorfold-tp2-2xgb10 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
deepseek-v4.1-tensorfold-tp2-2xgb10 还在维护吗？
活跃维护中。deepseek-v4.1-tensorfold-tp2-2xgb10 最近一次提交是在 2026年11月4日。
deepseek-v4.1-tensorfold-tp2-2xgb10 适合用来做什么？
在一对 GB10 级别的机器上本地运行大型 DeepSeek 模型。 处理长上下文提示，并从保存的状态续接大型对话。 在 DGX Spark 硬件上测试张量并行的解码与预填充吞吐量。
deepseek-v4.1-tensorfold-tp2-2xgb10 怎么安装和运行？
阅读 RUNNING.md 了解引擎构建、权重和运行时输入 根据 config.env.example 创建 config.env，并在两个节点上使用 scripts/serve.sh 启动
在哪里获取 deepseek-v4.1-tensorfold-tp2-2xgb10？
源代码和安装说明在 GitHub 上：https://github.com/bertholomus/deepseek-v4.1-tensorfold-tp2-2xgb10

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目