基于打补丁 llama.cpp 的启动方案,让 Ternary Bonsai 2 27B 模型在 12 GB 和 8 GB NVIDIA 显卡上运行完整 262k 上下文。
StayLameBro/backburner
通过 USB-C 连接 iPhone 与 Mac,借助手机 GPU 协同本地运行 Qwen 27B 模型,加快提示词读取并扩展上下文。
- Star
- 1,072
- Fork
- 120
- 未关闭 Issue
- 8
- 最近提交
- 7天前
这是什么?
Backburner 是面向 Apple Silicon Mac 的本地大模型推理服务,可把连接的 iPhone 当作第二块计算设备。通过 10 Gb/s 的 USB-C 线缆,Mac 运行 Qwen 27B 模型的前 40 层(共 64 层),iPhone 在 GPU 上运行剩余层,两者流水线并行工作。这主要加速提示词的 prefill 阶段,适合智能体读取长文件或工具输出的场景。
iPhone 还可以保存上下文中最早的部分,并对其计算注意力,使服务器能处理比单台 24 GB Mac 长得多的上下文。服务提供本地 OpenAI 兼容接口。推理引擎是 llama.cpp 的分支,带有针对 Mac 的内核(SME2、Metal、投机解码)。项目的测试显示,有无 iPhone 参与时贪心解码输出一致。
项目仍处于预发布阶段,已在 M4 Pro Mac 配合 iPhone 17 Pro Max 与 16 Pro Max 上测试。安装通过脚本完成,iPhone 端应用可用免费 Apple ID 侧载,模型需单独下载。
核心功能
- 01将模型层拆分到 Mac GPU 与 iPhone GPU 上,加快提示词 prefill。
- 02把最早的注意力 KV 数据移到 iPhone,扩展可用上下文。
- 03提供 OpenAI 兼容的本地 API 服务。
- 04通过磁盘上的提示词缓存,跳过已知系统提示词的重复读取。
- 05通过 USB-C 连接,iPhone 端应用可侧载安装,无需越狱。
适用场景
- 在 24 GB 内存的 MacBook 上运行 27B 本地编程智能体,处理大文件和工具输出。
- 在已有的 Apple Silicon 设备上尝试长上下文本地推理。
- 研究 Mac 与 iPhone 之间的分布式模型推理。
快速上手
- 1
准备一台 Apple Silicon Mac 和一部 iPhone 15 Pro 或更新机型,并用 10 Gb/s USB-C 线缆连接
- 2
运行安装程序;如需非默认值,请设置 TAIL_L 为你设备的分割层数
使用前须知
- 需要 Apple Silicon Mac 和较新的 iPhone Pro 机型,目前无法在其他硬件上运行。
- 上下文超过 64k 时,iPhone 应用必须保持打开并位于前台,否则服务器会停止。
- 仅支持一次处理一个请求(-np 1)。
- 基准测试主要来自维护者自己的 M4 Pro Mac 和 iPhone 17 Pro Max。
标签
常见问题
- backburner 是什么?
- 通过 USB-C 连接 iPhone 与 Mac,借助手机 GPU 协同本地运行 Qwen 27B 模型,加快提示词读取并扩展上下文。 Backburner 是面向 Apple Silicon Mac 的本地大模型推理服务,可把连接的 iPhone 当作第二块计算设备。通过 10 Gb/s 的 USB-C 线缆,Mac 运行 Qwen 27B 模型的前 40 层(共 64 层),iPhone 在 GPU 上运行剩余层,两者流水线并行工作。这主要加速提示词的 prefill 阶段,适合智能体读取长文件或工具输出的场景。
- backburner 可以免费使用吗?用的什么许可证?
- backburner 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
- backburner 还在维护吗?
- 活跃维护中。backburner 最近一次提交是在 2026年10月13日。
- backburner 适合用来做什么?
- 在 24 GB 内存的 MacBook 上运行 27B 本地编程智能体,处理大文件和工具输出。 在已有的 Apple Silicon 设备上尝试长上下文本地推理。 研究 Mac 与 iPhone 之间的分布式模型推理。
- backburner 怎么安装和运行?
- 准备一台 Apple Silicon Mac 和一部 iPhone 15 Pro 或更新机型,并用 10 Gb/s USB-C 线缆连接 运行安装程序;如需非默认值,请设置 TAIL_L 为你设备的分割层数
- 在哪里获取 backburner?
- 源代码和安装说明在 GitHub 上:https://github.com/StayLameBro/backburner
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
面向消费级硬件的原生推理引擎,用于在 Metal、CUDA 和 ROCm 上运行 DeepSeek V4 Flash 等少数大模型。
开源推理引擎,针对你的硬件自动调优内核,让开源模型在 Apple Silicon、NVIDIA、AMD 或纯 CPU 上运行更快。
基于 Swift 和 Metal 的运行时,在约 2 GB 内存的 Apple Silicon Mac 上运行 Gemma 4 26B-A4B 模型。
一款 macOS 菜单栏应用,用于在本机运行大语言模型,基于 llama.cpp 构建,提供本地 API 服务和内置 WebUI。
开源的 iOS / macOS 兼容层,可在 iPhone、iPad 和 Mac 上原生运行你自己的 Switch 版《暗黑破坏神 II:狱火重生》。