professorpalmer/bonsai-ada-surgery

这是什么？

核心功能

• 01在 12 GB 和 8 GB NVIDIA 显卡上运行 262,144 token 的完整上下文窗口。
• 02按显卡自动配置 K/V 缓存，使用 q4_0 或 q3_0。
• 03提供兼容 OpenAI 的 API，默认端口 8080。
• 04支持 MTP 草稿机制的投机解码。
• 05支持受语法约束的工具调用。
• 06提供带 PowerShell 启动脚本的 Windows 打包版本。

适用场景

• 在 12 GB 消费级显卡上运行长上下文本地大模型。
• 在 8 GB RTX 显卡上为编程或 agent 工具提供本地 OpenAI 兼容接口。
• 测试三值量化模型在不同上下文深度下的解码和预填充速度。

快速上手

1. 1

   从 Releases 下载 bonsai-bundle-win-x64.zip 并解压到仓库目录

2. 2

   将 GGUF 模型和 MTP 头文件放入 models 文件夹

3. 3

   启动服务器，OpenAI 兼容 API 运行在 8080 端口

   .\start-server.ps1

使用前须知

• !快速开始仅适用于带 NVIDIA 显卡的 Windows；Linux 需参考 docs/build 中的单独指南。
• !需要至少 8 GB 显存的 NVIDIA 显卡才能运行完整窗口。
• !许可证显示为 NOASSERTION，仓库的许可条款不明确；README 称其自身代码为 MIT 许可。

标签

常见问题

bonsai-ada-surgery 是什么？

基于打补丁 llama.cpp 的启动方案，让 Ternary Bonsai 2 27B 模型在 12 GB 和 8 GB NVIDIA 显卡上运行完整 262k 上下文。 Ternary Bonsai 2 27B 是一个 1.58 位三值量化模型，采用 PTQ1_0 格式，约 5.9 GB。本项目让它在消费级 NVIDIA 显卡上以完整的 262,144 token 上下文窗口运行，依赖打过补丁的 PrismML llama.cpp，并由启动脚本根据显卡显存配置 K/V 缓存：12 GB 用 q4_0，8 GB 用 q3_0。

bonsai-ada-surgery 可以免费使用吗？用的什么许可证？

bonsai-ada-surgery 以 Other 许可证开源。用于商业产品前，请先确认许可证条款。

bonsai-ada-surgery 还在维护吗？

活跃维护中。bonsai-ada-surgery 最近一次提交是在 2026年10月20日。

bonsai-ada-surgery 适合用来做什么？

在 12 GB 消费级显卡上运行长上下文本地大模型。 在 8 GB RTX 显卡上为编程或 agent 工具提供本地 OpenAI 兼容接口。 测试三值量化模型在不同上下文深度下的解码和预填充速度。

bonsai-ada-surgery 怎么安装和运行？

从 Releases 下载 bonsai-bundle-win-x64.zip 并解压到仓库目录 将 GGUF 模型和 MTP 头文件放入 models 文件夹 启动服务器，OpenAI 兼容 API 运行在 8080 端口: .\start-server.ps1

在哪里获取 bonsai-ada-surgery？

源代码和安装说明在 GitHub 上：https://github.com/professorpalmer/bonsai-ada-surgery