用 Rust 编写的 LLM 推理服务器，面向显存放不下的混合专家（MoE）模型，兼容 llama-server 接口。
61+1 本周7RustMIT维护活跃更新于 8小时前
wici-ai/inferssd
基于 llama.cpp，从 SSD 流式读取专家权重运行大型 MoE 模型，适合内存或显存不足的机器。
- Star
- 355
- Fork
- 55
- 未关闭 Issue
- 8
- 最近提交
- 7小时前
这是什么？
InferSSD 是一个面向大型混合专家（MoE）语言模型的推理引擎，用于运行超出本机内存或显存容量的模型。它基于 llama.cpp 构建，直接加载标准 GGUF 文件，并在需要时从 SSD 流式读取专家权重，而不是把整个模型常驻内存。
项目提供终端对话模式（`inferssd cli`）和服务模式（`inferssd serve`），后者同时提供浏览器聊天界面和兼容 OpenAI 的 API。目前支持 DeepSeek-V4.1-Flash-1017 和 Muse-Spark-Open，可运行于搭载 Metal 的 Apple Silicon macOS 以及配备 NVIDIA CUDA 的 Linux。Windows 版本仍在开发中。
安装通过一条 shell 命令从源码编译，会针对本机 CPU 和 GPU 构建引擎，耗时数分钟。首次运行时会下载模型文件（DeepSeek 约 470 GiB），可指定保存到任意磁盘目录。
核心功能
- 01通过从 SSD 流式读取专家权重，运行超出内存或显存容量的 MoE 模型。
- 02加载基于 llama.cpp 的标准 GGUF 模型文件。
- 03提供终端对话模式和浏览器网页界面。
- 04在本地地址提供兼容 OpenAI 的 API。
- 05支持 Apple Silicon（Metal）和配备 NVIDIA CUDA 的 Linux。
适用场景
- 在内存有限的笔记本或工作站上运行大型 MoE 模型。
- 为需要 OpenAI API 的工具提供本地兼容端点。
- 在消费级 GPU 或 Apple Silicon 设备上试验基于 SSD 的推理。
快速上手
- 1
运行 README 中的官方安装脚本（从源码编译，需 2 到 12 分钟）
- 2
在终端中与模型聊天
inferssd cli -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF - 3
或启动网页界面和兼容 OpenAI 的 API（地址 http://127.0.0.1:8080）
inferssd serve -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF
使用前须知
- 仅支持搭载 Apple Silicon 的 macOS 以及配备 NVIDIA GPU 的 Linux；Windows 支持仍在开发中。
- 目前没有预编译安装包，安装时需要在本机编译。
- 首次运行会下载约 470 GiB 的模型文件。
- Linux 还需要 CUDA 工具包、liburing 头文件，以及启用 cgroup v2 的 systemd。
收录于专题
标签
常见问题
- inferssd 是什么？
- 基于 llama.cpp，从 SSD 流式读取专家权重运行大型 MoE 模型，适合内存或显存不足的机器。 InferSSD 是一个面向大型混合专家（MoE）语言模型的推理引擎，用于运行超出本机内存或显存容量的模型。它基于 llama.cpp 构建，直接加载标准 GGUF 文件，并在需要时从 SSD 流式读取专家权重，而不是把整个模型常驻内存。
- inferssd 可以免费使用吗？用的什么许可证？
- inferssd 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
- inferssd 还在维护吗？
- 活跃维护中。inferssd 最近一次提交是在 2026年11月7日。
- inferssd 适合用来做什么？
- 在内存有限的笔记本或工作站上运行大型 MoE 模型。 为需要 OpenAI API 的工具提供本地兼容端点。 在消费级 GPU 或 Apple Silicon 设备上试验基于 SSD 的推理。
- inferssd 怎么安装和运行？
- 运行 README 中的官方安装脚本（从源码编译，需 2 到 12 分钟） 在终端中与模型聊天: inferssd cli -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF 或启动网页界面和兼容 OpenAI 的 API（地址 http://127.0.0.1:8080）: inferssd serve -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF
- 在哪里获取 inferssd？
- 源代码和安装说明在 GitHub 上：https://github.com/wici-ai/inferssd
概要由 AI 根据项目 README 生成；GitHub 数据每日更新。
相关项目
基于 Swift、MLX 和 Metal 的原生引擎，让 16–64 GB 的 Apple Silicon Mac 通过 SSD 流式加载 105 GB 的模型。
656+20 本周54SwiftMIT维护活跃更新于 3天前
用 Zig 编写的本地大模型推理引擎，在 Apple Silicon（Metal）和 NVIDIA（CUDA）GPU 上直接提供模型服务，无需 Python 或 MLX。
1688+124 本周362ZigApache-2.0维护活跃更新于 3小时前
一个用 Rust 编写的 AI 模型推理引擎，可将模型直接部署到应用中，支持 Apple 设备本地运行。
3237+101 本周223RustMIT维护活跃更新于 4小时前
llama.cpp 的 Rust 绑定，让 Rust 程序可以在本地加载并运行 GGUF 格式的语言模型。
665+1 本周261RustApache-2.0维护活跃更新于 3天前
用 Go 编写的工具，可远程解析 GGUF 模型元数据，并在下载前估算内存、显存占用及最大每秒 token 数。
310+1 本周31GoMIT维护活跃更新于 9天前