Repolode
Предложить
StayLameBro

StayLameBro/backburner

Подключает iPhone к Mac по USB-C, чтобы GPU телефона помогал локально запускать модель Qwen 27B, ускоряя обработку промптов и увеличивая контекст.

Открыть на GitHub
Звёзды
1,072
Форки
120
Открытые issues
8
Последний коммит
7 дней назад

Что это?

Backburner — локальный сервер инференса LLM для Mac с Apple Silicon, который использует подключённый iPhone как дополнительное вычислительное устройство. По кабелю USB-C со скоростью 10 Гбит/с Mac выполняет первые 40 из 64 слоёв модели Qwen 27B, а iPhone — остальные слои на своём GPU. Вычисления идут конвейерно, поэтому оба устройства работают одновременно. Это ускоряет предварительную обработку промпта — она важна, когда агент читает большие файлы или вывод инструментов.

Кроме того, iPhone может хранить самую старую часть контекста и вычислять для неё attention, благодаря чему сервер обрабатывает контексты гораздо длиннее, чем позволяет один Mac с 24 ГБ памяти. Сервер предоставляет совместимый с OpenAI endpoint на localhost. В основе движка — форк llama.cpp с ядрами для Mac (SME2, Metal, speculative decoding); согласно README проекта, в тестах жадная генерация даёт одинаковый результат как с подключённым телефоном, так и без него.

Проект находится на стадии pre-release и протестирован на Mac с M4 Pro в паре с iPhone 17 Pro Max и 16 Pro Max. Для настройки нужны скрипт установки, установленное на iPhone приложение, которое можно загрузить в обход App Store и использовать с бесплатным Apple ID, а также отдельные загрузки моделей.

Ключевые возможности

  • 01Распределяет слои между GPU Mac и GPU iPhone, ускоряя предварительную обработку промпта.
  • 02Увеличивает доступную длину контекста, перенося самые старые ключи attention на iPhone.
  • 03Предоставляет локальный API-сервер, совместимый с OpenAI.
  • 04Использует кэш сохранённых промптов на диске, чтобы не перечитывать известные системные промпты.
  • 05Работает через кабель USB-C с приложением для iPhone, установленным в обход App Store; jailbreak не нужен.

Сценарии использования

  • Запуск локального кодинг-агента на 27B на MacBook с 24 ГБ памяти, который читает большие файлы или вывод инструментов.
  • Эксперименты с локальным инференсом на длинном контексте на имеющемся оборудовании с Apple Silicon.
  • Тестирование инференса с распределением вычислений между Mac и iPhone.

Быстрый старт

  1. 1

    Подготовьте Mac с Apple Silicon и iPhone 15 Pro или новее и подключите их кабелем USB-C со скоростью 10 Гбит/с

  2. 2

    Запустите установщик. Чтобы задать значение, отличное от значения по умолчанию, укажите в TAIL_L split вашего устройства

Что важно знать

  • Требуются Mac с Apple Silicon и актуальная модель iPhone Pro, поэтому на другом оборудовании приложение пока не работает.
  • При контексте больше 64k приложение на iPhone должно оставаться открытым и на переднем плане, иначе сервер остановится.
  • Поддерживается только один запрос за раз (-np 1).
  • Большая часть тестов производительности проводилась на Mac M4 Pro и iPhone 17 Pro Max самого мейнтейнера.

Темы

#local-llm#llm-inference#apple-silicon#metal#llama-cpp#ios#speculative-decoding#iphone#macos#qwen

Частые вопросы

Что такое backburner?
Подключает iPhone к Mac по USB-C, чтобы GPU телефона помогал локально запускать модель Qwen 27B, ускоряя обработку промптов и увеличивая контекст. Backburner — локальный сервер инференса LLM для Mac с Apple Silicon, который использует подключённый iPhone как дополнительное вычислительное устройство. По кабелю USB-C со скоростью 10 Гбит/с Mac выполняет первые 40 из 64 слоёв модели Qwen 27B, а iPhone — остальные слои на своём GPU. Вычисления идут конвейерно, поэтому оба устройства работают одновременно. Это ускоряет предварительную обработку промпта — она важна, когда агент читает большие файлы или вывод инструментов.
backburner можно использовать бесплатно? Какая у него лицензия?
backburner распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
backburner всё ещё поддерживается?
Активно поддерживается. Последний коммит в backburner — 13 окт. 2026 г..
Для чего можно использовать backburner?
Запуск локального кодинг-агента на 27B на MacBook с 24 ГБ памяти, который читает большие файлы или вывод инструментов. Эксперименты с локальным инференсом на длинном контексте на имеющемся оборудовании с Apple Silicon. Тестирование инференса с распределением вычислений между Mac и iPhone.
Как установить backburner?
Подготовьте Mac с Apple Silicon и iPhone 15 Pro или новее и подключите их кабелем USB-C со скоростью 10 Гбит/с Запустите установщик. Чтобы задать значение, отличное от значения по умолчанию, укажите в TAIL_L split вашего устройства
Где скачать backburner?
Исходный код и инструкции по установке — на GitHub: https://github.com/StayLameBro/backburner

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты