DeepInfer 可以免费使用吗？用的什么许可证？

DeepInfer 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

DeepInfer 还在维护吗？

活跃维护中。DeepInfer 最近一次提交是在 2026年10月20日。

DeepInfer 适合用来做什么？

在 NVIDIA SM100 GPU 上使用 DeepSeek-V4.1-Flash 进行离线批量推理让大模型生成符合 JSON Schema 等约束的结构化输出研究 DeepSeek 如何通过专家并行与投机解码部署 MoE 模型在华为昇腾 950 NPU 上部署 DeepSeek 模型

DeepInfer 怎么安装和运行？

创建并激活一个空的 Python 3.12 环境将加速器设置为 NVIDIA: export DEEPINFER_ACCELERATOR=nvidia 从源码构建 DeepInfer: ./build.sh 运行离线推理(首次运行时会下载默认模型权重): python examples/offline_inference.py

在哪里获取 DeepInfer？

源代码和安装说明在 GitHub 上：https://github.com/deepseek-ai/DeepInfer

deepseek-ai/DeepInfer

Q: DeepInfer 怎么安装和运行？

创建并激活一个空的 Python 3.12 环境 将加速器设置为 NVIDIA: export DEEPINFER_ACCELERATOR=nvidia 从源码构建 DeepInfer: ./build.sh 运行离线推理(首次运行时会下载默认模型权重): python examples/offline_inference.py

DeepSeek 开源的离线推理框架，用于在 NVIDIA SM100 和华为昇腾 950 硬件上运行 DeepSeek-V4.1-Flash。

在 GitHub 查看

Star: 8,284
Fork: 697
未关闭 Issue: 78
最近提交: 昨天

这是什么？

DeepInfer 是 DeepSeek 推出的推理框架，面向大规模部署 DeepSeek 大模型。当前开源版本支持 DeepSeek-V4.1-Flash 的离线推理，包含优化的算子内核、模型与采样器运行时，并支持注意力数据并行、上下文并行，以及带 EPLB 的 MoE 专家并行。

框架提供基于 DSpark 的投机解码与置信度调度验证，通过有界 SWA 回放减少解码器预填充计算，并采用异步调度器让 CPU 批调度与设备执行重叠。此外还支持批次不变推理、确定性采样，以及按正则、JSON Schema 或 EBNF 文法约束输出的结构化生成。

运行环境为 Linux 与 Python 3.12，NVIDIA 平台需要 CUDA 13，昇腾平台需要 CANN 9.2。该版本不包含 KV 缓存系统以及 Prefill/Decode 分离部署，这些是构建完整生产服务所需的部分。

核心功能

01针对 DeepSeek-V4.1-Flash 的离线推理，包含优化算子内核与采样器运行时
02支持注意力数据并行、上下文并行，以及带 EPLB 的 MoE 专家并行
03基于 DSpark 的投机解码，并采用置信度调度验证
04异步批调度，使 CPU 工作与设备执行重叠进行
05在 NVIDIA GPU 上支持批次不变推理与确定性采样
06支持按正则、JSON Schema 或 EBNF 文法约束的结构化输出

适用场景

在 NVIDIA SM100 GPU 上使用 DeepSeek-V4.1-Flash 进行离线批量推理
让大模型生成符合 JSON Schema 等约束的结构化输出
研究 DeepSeek 如何通过专家并行与投机解码部署 MoE 模型
在华为昇腾 950 NPU 上部署 DeepSeek 模型

快速上手

1
创建并激活一个空的 Python 3.12 环境
2
将加速器设置为 NVIDIA
export DEEPINFER_ACCELERATOR=nvidia
3
从源码构建 DeepInfer
./build.sh
4
运行离线推理(首次运行时会下载默认模型权重)
python examples/offline_inference.py

使用前须知

仅支持 NVIDIA SM100 GPU 或华为 Ascend 950 NPU,需要 Linux 系统,并依赖 CUDA 13 或 CANN 9.2。
仅支持 DeepSeek-V4.1-Flash 模型。
此开源版本不包含 KV 缓存系统以及预填充/解码分离,因此不是完整的推理服务栈。
部分功能(如批次不变推理和确定性采样)仅适用于 NVIDIA。

常见问题

DeepInfer 是什么？: DeepSeek 开源的离线推理框架，用于在 NVIDIA SM100 和华为昇腾 950 硬件上运行 DeepSeek-V4.1-Flash。 DeepInfer 是 DeepSeek 推出的推理框架，面向大规模部署 DeepSeek 大模型。当前开源版本支持 DeepSeek-V4.1-Flash 的离线推理，包含优化的算子内核、模型与采样器运行时，并支持注意力数据并行、上下文并行，以及带 EPLB 的 MoE 专家并行。
DeepInfer 可以免费使用吗？用的什么许可证？: DeepInfer 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
DeepInfer 还在维护吗？: 活跃维护中。DeepInfer 最近一次提交是在 2026年10月20日。
DeepInfer 适合用来做什么？: 在 NVIDIA SM100 GPU 上使用 DeepSeek-V4.1-Flash 进行离线批量推理让大模型生成符合 JSON Schema 等约束的结构化输出研究 DeepSeek 如何通过专家并行与投机解码部署 MoE 模型在华为昇腾 950 NPU 上部署 DeepSeek 模型
DeepInfer 怎么安装和运行？: 创建并激活一个空的 Python 3.12 环境将加速器设置为 NVIDIA: export DEEPINFER_ACCELERATOR=nvidia 从源码构建 DeepInfer: ./build.sh 运行离线推理(首次运行时会下载默认模型权重): python examples/offline_inference.py
在哪里获取 DeepInfer？: 源代码和安装说明在 GitHub 上：https://github.com/deepseek-ai/DeepInfer

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。