midagedev/bloomery

这是什么？

核心功能

• 01将专家分布到显卡、主机内存和 NVMe 上，运行权重超过显存的 MoE 模型。
• 02提供与 llama-server 兼容的 HTTP 接口，包括 OpenAI 和 Anthropic 路由。
• 03支持 GGUF 文件及 llama 的放置参数，现有客户端无需改动。
• 04在主机内存中保存提示状态，共享前缀的请求可直接复用。
• 05支持多槽位并发请求，并在有草稿模型时启用投机解码。
• 06提供 Metal 后端，可在 Apple Silicon Mac 上运行。

适用场景

• 在一张 24 GB 显卡的工作站上运行 Qwen3-30B-A3B、GLM 等大型 MoE 模型。
• 在 NVIDIA DGX Spark 或 RTX 5090 上为编程代理提供本地模型服务。
• 将已有的 llama-server 部署替换为接口一致的 Rust 服务器。
• 在搭载 Metal GPU 的 Apple Silicon Mac 上运行混合专家模型。

快速上手

1. 1

   运行 README 中的官方安装脚本

2. 2

   用 Hugging Face 上的模型启动服务器

   ~/.local/bin/bloomery-serve --hf unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF:Q4_K_M
3. 3

   向服务器发送一个测试聊天请求

   curl -s http://127.0.0.1:8080/v1/chat/completions -d '{"messages": [{"role": "user", "content": "Hello"}], "max_tokens": 64}'

使用前须知

• !需要计算能力 8.6 或更高的 NVIDIA GPU，或运行 macOS 26.2 及以上版本的 Apple Silicon 设备。
• !Apple Silicon 支持仅限特定架构，且大多未经验证，只能单槽位、仅支持文本。
• !Linux x86-64 需要 R580 或更新的 NVIDIA 驱动，Windows 仅能通过 WSL2 运行。
• !该项目尚年轻，目前有 57 个星标，版本为 0.3.x。

收录于专题

标签

常见问题

bloomery 是什么？

用 Rust 编写的 LLM 推理服务器，面向显存放不下的混合专家（MoE）模型，兼容 llama-server 接口。 bloomery 是一个面向混合专家（MoE）大模型的推理服务器，可在单台机器上运行比显卡显存还大的模型。引擎会把路由专家分布到显存、主机内存，必要时还会分页到 NVMe 硬盘上，并在运行时统计解码阶段最常调用的专家，把它们移到显卡上。支持 NVIDIA 显卡（包括 DGX Spark / GB10）以及通过 Metal 后端运行的 Apple Silicon。

bloomery 可以免费使用吗？用的什么许可证？

bloomery 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

bloomery 还在维护吗？

活跃维护中。bloomery 最近一次提交是在 2026年11月7日。

bloomery 适合用来做什么？

在一张 24 GB 显卡的工作站上运行 Qwen3-30B-A3B、GLM 等大型 MoE 模型。 在 NVIDIA DGX Spark 或 RTX 5090 上为编程代理提供本地模型服务。 将已有的 llama-server 部署替换为接口一致的 Rust 服务器。 在搭载 Metal GPU 的 Apple Silicon Mac 上运行混合专家模型。

bloomery 怎么安装和运行？

运行 README 中的官方安装脚本 用 Hugging Face 上的模型启动服务器: ~/.local/bin/bloomery-serve --hf unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF:Q4_K_M 向服务器发送一个测试聊天请求: curl -s http://127.0.0.1:8080/v1/chat/completions -d '{"messages": [{"role": "user", "content": "Hello"}], "max_tokens": 64}'

在哪里获取 bloomery？

源代码和安装说明在 GitHub 上：https://github.com/midagedev/bloomery