Repolode
StayLameBro

StayLameBro/backburner

通过 USB-C 连接 iPhone 与 Mac,借助手机 GPU 协同本地运行 Qwen 27B 模型,加快提示词读取并扩展上下文。

Star
1,072
Fork
120
未关闭 Issue
8
最近提交
7天前

这是什么?

Backburner 是面向 Apple Silicon Mac 的本地大模型推理服务,可把连接的 iPhone 当作第二块计算设备。通过 10 Gb/s 的 USB-C 线缆,Mac 运行 Qwen 27B 模型的前 40 层(共 64 层),iPhone 在 GPU 上运行剩余层,两者流水线并行工作。这主要加速提示词的 prefill 阶段,适合智能体读取长文件或工具输出的场景。

iPhone 还可以保存上下文中最早的部分,并对其计算注意力,使服务器能处理比单台 24 GB Mac 长得多的上下文。服务提供本地 OpenAI 兼容接口。推理引擎是 llama.cpp 的分支,带有针对 Mac 的内核(SME2、Metal、投机解码)。项目的测试显示,有无 iPhone 参与时贪心解码输出一致。

项目仍处于预发布阶段,已在 M4 Pro Mac 配合 iPhone 17 Pro Max 与 16 Pro Max 上测试。安装通过脚本完成,iPhone 端应用可用免费 Apple ID 侧载,模型需单独下载。

核心功能

  • 01将模型层拆分到 Mac GPU 与 iPhone GPU 上,加快提示词 prefill。
  • 02把最早的注意力 KV 数据移到 iPhone,扩展可用上下文。
  • 03提供 OpenAI 兼容的本地 API 服务。
  • 04通过磁盘上的提示词缓存,跳过已知系统提示词的重复读取。
  • 05通过 USB-C 连接,iPhone 端应用可侧载安装,无需越狱。

适用场景

  • 在 24 GB 内存的 MacBook 上运行 27B 本地编程智能体,处理大文件和工具输出。
  • 在已有的 Apple Silicon 设备上尝试长上下文本地推理。
  • 研究 Mac 与 iPhone 之间的分布式模型推理。

快速上手

  1. 1

    准备一台 Apple Silicon Mac 和一部 iPhone 15 Pro 或更新机型,并用 10 Gb/s USB-C 线缆连接

  2. 2

    运行安装程序;如需非默认值,请设置 TAIL_L 为你设备的分割层数

使用前须知

  • 需要 Apple Silicon Mac 和较新的 iPhone Pro 机型,目前无法在其他硬件上运行。
  • 上下文超过 64k 时,iPhone 应用必须保持打开并位于前台,否则服务器会停止。
  • 仅支持一次处理一个请求(-np 1)。
  • 基准测试主要来自维护者自己的 M4 Pro Mac 和 iPhone 17 Pro Max。

标签

常见问题

backburner 是什么?
通过 USB-C 连接 iPhone 与 Mac,借助手机 GPU 协同本地运行 Qwen 27B 模型,加快提示词读取并扩展上下文。 Backburner 是面向 Apple Silicon Mac 的本地大模型推理服务,可把连接的 iPhone 当作第二块计算设备。通过 10 Gb/s 的 USB-C 线缆,Mac 运行 Qwen 27B 模型的前 40 层(共 64 层),iPhone 在 GPU 上运行剩余层,两者流水线并行工作。这主要加速提示词的 prefill 阶段,适合智能体读取长文件或工具输出的场景。
backburner 可以免费使用吗?用的什么许可证?
backburner 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
backburner 还在维护吗?
活跃维护中。backburner 最近一次提交是在 2026年10月13日。
backburner 适合用来做什么?
在 24 GB 内存的 MacBook 上运行 27B 本地编程智能体,处理大文件和工具输出。 在已有的 Apple Silicon 设备上尝试长上下文本地推理。 研究 Mac 与 iPhone 之间的分布式模型推理。
backburner 怎么安装和运行?
准备一台 Apple Silicon Mac 和一部 iPhone 15 Pro 或更新机型,并用 10 Gb/s USB-C 线缆连接 运行安装程序;如需非默认值,请设置 TAIL_L 为你设备的分割层数
在哪里获取 backburner?
源代码和安装说明在 GitHub 上:https://github.com/StayLameBro/backburner

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目