Repolode
提交项目
MiaAI-Lab

MiaAI-Lab/DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold

在四台 NVIDIA DGX Sparks 上以张量并行运行 DeepSeek-V4.1-Flash-1017，提供 OpenAI 兼容 API。

在 GitHub 查看官网
Star
65
Fork
25
未关闭 Issue
11
最近提交
3天前

这是什么？

本项目在四台 NVIDIA DGX Sparks（GB10，每台 128 GB）上部署 DeepSeek 官方发布的 DeepSeek-V4.1-Flash-1017 模型，保留原始 FP8 与 MXFP4 权重，不做重新量化。四台机器通过 ConnectX-7 网口互联，采用张量并行（TP4）。服务通过端口 8888 提供 OpenAI 兼容 API，支持文本、图片和视频输入、工具调用，并可按请求开关思考模式。

部署既可以用不经交换机、直接线缆连成环形的方式（start-switchless.sh），也可以接入普通的交换网络（start.sh）。脚本会配置全部四台机器，在第一台上下载一次模型权重，再通过 NFS 共享给其他节点并启动各 rank。可选功能包括通过 response_format 或 guided_* 参数的结构化输出、利用检查点自带草稿块的 DSpark 投机解码，以及可选的 NVFP4 或去审查权重变体。

推理引擎基于 TensorFold 的原生 Zig 实现，DeepSeek-V4.1 系列模型在其上构建，并附带一组随仓库维护的补丁。

核心功能

  • 01在四台 DGX Sparks 上以张量并行运行 DeepSeek-V4.1-Flash-1017。
  • 02提供 OpenAI 兼容的聊天 API，支持图片和视频输入。
  • 03支持工具调用，以及基于 JSON Schema 或语法约束的结构化输出。
  • 04既可用无交换机的环形互联，也可用带交换机的 RoCE 网络。
  • 05内置基于检查点草稿块的 DSpark 投机解码。

适用场景

  • 在小型 DGX Sparks 集群上自建大型 DeepSeek 模型服务。
  • 通过 OpenAI 风格客户端提供支持图片和视频输入的多模态对话。
  • 在本地 GB10 硬件上并发处理长上下文请求。

快速上手

  1. 1

    在 spark1 上克隆仓库

    git clone https://github.com/MiaAI-Lab/DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold.git
  2. 2

    进入目录并创建本地配置文件

    cd DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold && cp scripts/local.sh.example scripts/local.sh
  3. 3

    在 scripts/local.sh 中将 WORKER、WORKER2 和 WORKER3 设置为 spark2、spark3 和 spark4

  4. 4

    启动环形连接配置（若 Spark 通过交换机连接，则改用 ./start.sh）

    ./start-switchless.sh

使用前须知

  • 需要四台 NVIDIA DGX Sparks（每台 128 GB），通过 ConnectX-7 端口互联，普通硬件无法使用。
  • spark1 上约需 830 GB 磁盘空间用于模型权重和权重文件，每台 Spark 还需约 100 GB 空闲内存。
  • 基于一个分叉的推理引擎（TensorFold 分支）和一组本地补丁，增加了维护和部署的复杂度。

标签

#llm#inference#tensor-parallelism#deepseek#openai-compatible-api#nvidia-dgx#speculative-decoding

常见问题

DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold 是什么？
在四台 NVIDIA DGX Sparks 上以张量并行运行 DeepSeek-V4.1-Flash-1017，提供 OpenAI 兼容 API。 本项目在四台 NVIDIA DGX Sparks（GB10，每台 128 GB）上部署 DeepSeek 官方发布的 DeepSeek-V4.1-Flash-1017 模型，保留原始 FP8 与 MXFP4 权重，不做重新量化。四台机器通过 ConnectX-7 网口互联，采用张量并行（TP4）。服务通过端口 8888 提供 OpenAI 兼容 API，支持文本、图片和视频输入、工具调用，并可按请求开关思考模式。
DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold 可以免费使用吗？用的什么许可证？
DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold 还在维护吗？
活跃维护中。DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold 最近一次提交是在 2026年11月4日。
DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold 适合用来做什么？
在小型 DGX Sparks 集群上自建大型 DeepSeek 模型服务。 通过 OpenAI 风格客户端提供支持图片和视频输入的多模态对话。 在本地 GB10 硬件上并发处理长上下文请求。
DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold 怎么安装和运行？
在 spark1 上克隆仓库: git clone https://github.com/MiaAI-Lab/DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold.git 进入目录并创建本地配置文件: cd DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold && cp scripts/local.sh.example scripts/local.sh 在 scripts/local.sh 中将 WORKER、WORKER2 和 WORKER3 设置为 spark2、spark3 和 spark4 启动环形连接配置（若 Spark 通过交换机连接，则改用 ./start.sh）: ./start-switchless.sh
在哪里获取 DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold？
源代码和安装说明在 GitHub 上：https://github.com/MiaAI-Lab/DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目