beamivalice/sushi

这是什么？

核心功能

• 01在 Apple Silicon 上运行 STQ 与 EXL3-Affine 格式的低比特量化大模型。
• 02支持投机解码：Qwen 和 MiMo 使用 MTP，GLM 使用 DFlash2。
• 03通过从 SSD 读取路由专家，让内存小于模型权重的 Mac 也能运行模型。
• 04默认使用 8 位 KV 缓存，本地监听 12345 端口。
• 05可配置 API Key，供局域网内其他设备访问。

适用场景

• 在 48 GB 到 128 GB 内存的 Mac 上本地运行大型量化编程或对话模型。
• 为家庭或办公网络中的其他设备提供本地兼容接口。
• 对比 Qwen、GLM、MiMo 和 DeepSeek 等量化包的质量与速度。

快速上手

1. 1

   使用 Homebrew 安装 Sushi

   brew install beamivalice/tap/sushi
2. 2

   用模型包启动服务器（将 <pack> 替换为 README 中的模型包名称）

   sushi serve <pack>

使用前须知

• !需要 M1 或更新的 Apple Silicon 芯片以及 macOS 26.2 或更高版本。
• !大多数模型包需要 48 GB 至 128 GB 内存，部分模型在较小内存的 Mac 上需要借助 SSD 流式加载才能运行。
• !README 称 sushi 采用 MIT 许可，但 Qwen 和 MiMo 模型包使用各自的许可协议，且仓库检测到的许可证信息不明确。

收录于专题

标签

常见问题

sushi 是什么？

面向 Apple Silicon Mac 的本地 AI 推理服务器，运行低比特高质量量化大模型。 Sushi 是一个在 Apple Silicon Mac 上本地运行低比特量化大语言模型的推理服务器。它采用自定义的 Sushi Trellis Quant（STQ）格式以及 EXL3-Affine 混合转换器，生成压缩后仍保持较高输出质量的模型包。项目从 ddalcu 的 mlx-serve 分叉而来，可以独立运行，也可以作为 mlx-serve 内的引擎使用。运行需要 M1 及以上芯片和 macOS 26.2 或更高版本。

sushi 可以免费使用吗？用的什么许可证？

sushi 以 Other 许可证开源。用于商业产品前，请先确认许可证条款。

sushi 还在维护吗？

活跃维护中。sushi 最近一次提交是在 2026年11月7日。

sushi 适合用来做什么？

在 48 GB 到 128 GB 内存的 Mac 上本地运行大型量化编程或对话模型。 为家庭或办公网络中的其他设备提供本地兼容接口。 对比 Qwen、GLM、MiMo 和 DeepSeek 等量化包的质量与速度。

sushi 怎么安装和运行？

使用 Homebrew 安装 Sushi: brew install beamivalice/tap/sushi 用模型包启动服务器（将 <pack> 替换为 README 中的模型包名称）: sushi serve <pack>

在哪里获取 sushi？

源代码和安装说明在 GitHub 上：https://github.com/beamivalice/sushi