StayLameBro/backburner

これは何？

主な機能

• 01MacとiPhoneのGPUにレイヤーを分散し、プロンプトのプリフィルを高速化します。
• 02Attentionのキーのうち古いものをiPhoneに移し、利用可能なコンテキストを拡張します。
• 03OpenAI互換のローカルAPIサーバーを提供します。
• 04保存済みプロンプトのディスクキャッシュを使い、既知のシステムプロンプトの再読み込みを省きます。
• 05サイドロードしたiPhoneアプリを使い、脱獄せずにUSB-Cケーブル経由で実行できます。

ユースケース

• 大きなファイルやツールの出力を読み込む、24 GBのMacBook上の27Bローカルコーディングエージェントを実行する。
• 手持ちのApple Silicon搭載ハードウェアで、長いコンテキストを使ったローカル推論を試す。
• MacとiPhoneにまたがるデバイス分割推論をテストする。

クイックスタート

1. 1

   Apple Silicon搭載MacとiPhone 15 Pro以降を用意し、10 Gb/s対応のUSB-Cケーブルで接続します

2. 2

   インストーラーを実行します。デフォルト以外の値にする場合は、TAIL_Lにデバイスのsplitを設定してください

使う前に知っておきたいこと

• !Apple Silicon搭載Macと比較的新しいiPhone Proモデルが必要なため、現時点では他のハードウェアでは動作しません。
• !コンテキスト長が64kを超える場合、iPhoneアプリを開いて前面に表示しておく必要があります。そうしないとサーバーが停止します。
• !一度に処理できるリクエストは1件のみです（-np 1）。
• !ベンチマークの大半は、メンテナー所有のM4 Pro搭載MacとiPhone 17 Pro Maxで実施されています。

トピック

よくある質問

backburner とは？

iPhoneをUSB-CでMacに接続し、GPUを活用してQwen 27Bをローカル実行。プロンプト処理を高速化し、コンテキストを拡張します。 Backburnerは、接続したiPhoneを2台目の計算デバイスとして使う、Apple Silicon搭載Mac向けのローカルLLM推論サーバーです。10 Gb/sのUSB-Cケーブルで接続すると、MacがQwen 27Bモデルの64層中最初の40層を、iPhoneが残りの層をそれぞれGPUで実行します。両方が同時に処理するようパイプライン化されており、エージェントが長いファイルやツールの出力を読み込む際に重要となる、プロンプトのプリフィルを高速化します。

backburner は無料で使えますか？ライセンスは？

backburner は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

backburner は今もメンテナンスされていますか？

活発にメンテナンス中。backburner の最終コミットは 2026年10月13日 です。

backburner は何に使えますか？

大きなファイルやツールの出力を読み込む、24 GBのMacBook上の27Bローカルコーディングエージェントを実行する。 手持ちのApple Silicon搭載ハードウェアで、長いコンテキストを使ったローカル推論を試す。 MacとiPhoneにまたがるデバイス分割推論をテストする。

backburner のインストール方法は？

Apple Silicon搭載MacとiPhone 15 Pro以降を用意し、10 Gb/s対応のUSB-Cケーブルで接続します インストーラーを実行します。デフォルト以外の値にする場合は、TAIL_Lにデバイスのsplitを設定してください

backburner はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/StayLameBro/backburner