antirez/ds4

这是什么？

核心功能

• 01原生 C 推理引擎，支持 Metal、CUDA 和 ROCm 后端。
• 02SSD 流式加载，使超过内存容量的模型也能在较小机器上运行。
• 03支持多卡 CUDA，包括 Ada Lovelace 与 L40S 显卡。
• 04内置原生编程代理 ds4-agent，并提供支持多会话的 HTTP 服务。
• 05支持 MTP 投机解码，并可保存和恢复 KV 缓存会话。

适用场景

• 在大内存 Mac 上本地运行 DeepSeek 或 GLM 等大模型。
• 在多卡 CUDA 服务器上搭建本地多用户大模型服务。
• 配合 Pi、OpenCode、Claude Code 等客户端使用本地编程代理。
• 研究少数大模型的推理实现细节。

快速上手

1. 1

   克隆仓库

   git clone https://github.com/antirez/ds4.git
2. 2

   进入项目目录

   cd ds4
3. 3

   为你的平台构建（Apple Silicon 使用 Metal）

   make
4. 4

   下载 DeepSeek V4 Flash Q2 模型（适用于 96 或 128 GB 内存的机器）

   ./download_model.sh ds4f-q2

使用前须知

• !目前为测试版且变化很快，可能出现不稳定和回归问题。
• !在 Metal 上运行 DeepSeek 和 GLM 需要 96 GB 或更大内存；较小的 Mac 需要使用 SSD 流式加载。
• !项目范围刻意很窄：只运行特定的受支持模型及项目自身生成的 GGUF 文件，不是通用 GGUF 运行器。
• !该软件在 AI 编码代理的大量协助下开发。

标签

常见问题

ds4 是什么？

面向消费级硬件的原生推理引擎，用于在 Metal、CUDA 和 ROCm 上运行 DeepSeek V4 Flash 等少数大模型。 DwarfStar 是一个小型、自包含的 C 推理引擎，专门在个人能够拥有的硬件上运行少数大型开源权重模型。目前支持的模型包括 DeepSeek V4 Flash（含实验性视觉模型）、DeepSeek V4.1 Flash、DeepSeek V4 PRO、GLM 5.x 系列以及 Qwen3.8 Flash Next。它并非通用的 GGUF 运行器，只使用项目自己生成的 GGUF 文件。

ds4 可以免费使用吗？用的什么许可证？

ds4 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

ds4 还在维护吗？

活跃维护中。ds4 最近一次提交是在 2026年10月19日。

ds4 适合用来做什么？

在大内存 Mac 上本地运行 DeepSeek 或 GLM 等大模型。 在多卡 CUDA 服务器上搭建本地多用户大模型服务。 配合 Pi、OpenCode、Claude Code 等客户端使用本地编程代理。 研究少数大模型的推理实现细节。

ds4 怎么安装和运行？

克隆仓库: git clone https://github.com/antirez/ds4.git 进入项目目录: cd ds4 为你的平台构建（Apple Silicon 使用 Metal）: make 下载 DeepSeek V4 Flash Q2 模型（适用于 96 或 128 GB 内存的机器）: ./download_model.sh ds4f-q2

在哪里获取 ds4？

源代码和安装说明在 GitHub 上：https://github.com/antirez/ds4