DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks 可以免费使用吗？用的什么许可证？

DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks 还在维护吗？

活跃维护中。DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks 最近一次提交是在 2026年10月20日。

DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks 适合用来做什么？

在两台 GB10 级别机器上搭建长上下文本地大模型 API。在 2.9 bit EXL3 量化的 DeepSeek 模型上测试推理效果与性能。为需要工具调用和图像输入的智能体提供 OpenAI 兼容接口。学习如何在两台机器之间配置张量并行推理。

DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks 怎么安装和运行？

在主节点 Spark 上安装 Hugging Face CLI: pip install -U huggingface_hub 在主节点 Spark 上运行脚本，同时配置两台 Spark 并启动各自的进程: ./start.sh 使用完毕后停止两个进程: ./stop.sh

在哪里获取 DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks？

源代码和安装说明在 GitHub 上：https://github.com/MiaAI-Lab/DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks

MiaAI-Lab/DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks

在两台 NVIDIA DGX Sparks 上部署 DeepSeek-V4.1-Flash-1017 的 OpenAI 兼容 API 方案，支持百万级上下文。

在 GitHub 查看官网

Star: 134
Fork: 21
未关闭 Issue: 7
最近提交: 11小时前

这是什么？

本仓库是一套部署方案，将 DeepSeek-V4.1-Flash-1017 模型通过直连的 ConnectX-7 网线切分到两台 NVIDIA DGX Sparks（每台 GB10、128 GB 内存）上运行。模型采用张量并行 TP=2，每台机器运行一个 rank，推理引擎为 TensorFold 的原生 Zig 实现，权重为 2.9 bit 的 EXL3 量化版本。在第一台 Spark 上执行一条脚本即可完成两台机器的配置、权重下载和服务启动。

服务以 OpenAI 兼容 API 的形式在 8888 端口提供，支持 1,048,576 token 的上下文窗口、图像输入、工具调用，以及可开关的思考模式，并使用检查点自带的 DSpark 草稿块做投机解码。可选配置可通过受限访问的覆盖文件启用去对齐版本；内存看门狗会在 rank 可能冻结机器前将其终止。

仓库还包含基准测试、验证和输出比对脚本，并记录了一对 Spark 上实测的预填充与解码吞吐，以及长上下文下的内存限制说明。

核心功能

01在 8888 端口提供 OpenAI 兼容 API，上下文窗口为 1,048,576 token。
02通过直连 ConnectX-7 链路，用 TP=2 将模型切分到两台 DGX Spark 上。
03支持图像输入、工具调用，并可按请求开关思考模式。
04使用检查点自带的 DSpark 草稿块进行投机解码。
05内置内存看门狗，在可用内存过低时终止对应 rank。

适用场景

在两台 GB10 级别机器上搭建长上下文本地大模型 API。
在 2.9 bit EXL3 量化的 DeepSeek 模型上测试推理效果与性能。
为需要工具调用和图像输入的智能体提供 OpenAI 兼容接口。
学习如何在两台机器之间配置张量并行推理。

快速上手

1
在主节点 Spark 上安装 Hugging Face CLI
pip install -U huggingface_hub
2
在主节点 Spark 上运行脚本，同时配置两台 Spark 并启动各自的进程
./start.sh
3
使用完毕后停止两个进程
./stop.sh

使用前须知

需要两台 NVIDIA DGX Sparks（或各 128 GB 内存的 GB10 系统），并通过直连 ConnectX-7 线缆相连。
2.9 bpw 量化仍处于实验阶段，尚未与未量化模型进行困惑度或 KL 散度对比。
需要约 196 GiB 的模型权重，以及本地磁盘上约 203 GB 的额外表数据；长上下文对内存要求很高。

常见问题

DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks 是什么？: 在两台 NVIDIA DGX Sparks 上部署 DeepSeek-V4.1-Flash-1017 的 OpenAI 兼容 API 方案，支持百万级上下文。本仓库是一套部署方案，将 DeepSeek-V4.1-Flash-1017 模型通过直连的 ConnectX-7 网线切分到两台 NVIDIA DGX Sparks（每台 GB10、128 GB 内存）上运行。模型采用张量并行 TP=2，每台机器运行一个 rank，推理引擎为 TensorFold 的原生 Zig 实现，权重为 2.9 bit 的 EXL3 量化版本。在第一台 Spark 上执行一条脚本即可完成两台机器的配置、权重下载和服务启动。
DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks 可以免费使用吗？用的什么许可证？: DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks 还在维护吗？: 活跃维护中。DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks 最近一次提交是在 2026年10月20日。
DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks 适合用来做什么？: 在两台 GB10 级别机器上搭建长上下文本地大模型 API。在 2.9 bit EXL3 量化的 DeepSeek 模型上测试推理效果与性能。为需要工具调用和图像输入的智能体提供 OpenAI 兼容接口。学习如何在两台机器之间配置张量并行推理。
DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks 怎么安装和运行？: 在主节点 Spark 上安装 Hugging Face CLI: pip install -U huggingface_hub 在主节点 Spark 上运行脚本，同时配置两台 Spark 并启动各自的进程: ./start.sh 使用完毕后停止两个进程: ./stop.sh
在哪里获取 DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks？: 源代码和安装说明在 GitHub 上：https://github.com/MiaAI-Lab/DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。