Um inicializador e uma configuração corrigida do llama.cpp que executam o modelo ternário Ternary Bonsai 2 27B de 1,58 bit, com contexto de 262 mil tokens, em GPUs NVIDIA de 12 GB e 8 GB.
826PythonOtherAtualizado há 6 horas
StayLameBro/backburner
Conecta um iPhone a um Mac via USB-C para usar a GPU do celular na execução local de um modelo Qwen 27B, acelerando a leitura de prompts e ampliando o contexto.
- Estrelas
- 1,072
- Forks
- 120
- Issues abertas
- 8
- Último commit
- há 7 dias
O que é?
Backburner é um servidor local de inferência de LLM para Macs com Apple Silicon que usa um iPhone conectado como segundo dispositivo de computação. Com um cabo USB-C de 10 Gb/s, o Mac executa as primeiras 40 das 64 camadas de um modelo Qwen 27B, enquanto o iPhone executa as camadas restantes na GPU, em pipeline, para que ambos trabalhem ao mesmo tempo. Isso é voltado ao prefill de prompts, importante quando um agente lê arquivos longos ou saídas de ferramentas.
O iPhone também pode armazenar a parte mais antiga do contexto e calcular a atenção sobre ela, permitindo que o servidor lide com contextos muito mais longos do que um Mac com apenas 24 GB. O servidor disponibiliza um endpoint compatível com OpenAI em localhost. O mecanismo é um fork do llama.cpp com kernels específicos para Mac (SME2, Metal, speculative decoding), e o README do projeto relata saídas greedy idênticas com e sem o iPhone nos testes.
O projeto está em pré-lançamento e foi testado em um Mac M4 Pro com iPhone 17 Pro Max e 16 Pro Max. A configuração usa um script instalador, um app para iPhone instalado por sideload que funciona com um Apple ID gratuito e downloads separados dos modelos.
Recursos principais
- 01Divide as camadas entre a GPU do Mac e a do iPhone para acelerar o prefill de prompts.
- 02Amplia o contexto utilizável transferindo as chaves de atenção mais antigas para o iPhone.
- 03Disponibiliza um servidor de API local compatível com OpenAI.
- 04Usa um cache de prompts salvos em disco para evitar reler prompts de sistema já conhecidos.
- 05Funciona com um cabo USB-C e um app para iPhone instalado por sideload, sem precisar de jailbreak.
Casos de uso
- Executar um agente de programação local de 27B em um MacBook com 24 GB que lê arquivos grandes ou saídas de ferramentas.
- Experimentar inferência local com contexto longo no hardware Apple Silicon que você já tem.
- Testar inferência dividida entre Mac e iPhone.
Início rápido
- 1
Tenha um Mac com Apple Silicon e um iPhone 15 Pro ou posterior, conectados por um cabo USB-C de 10 Gb/s
- 2
Execute o instalador. Se quiser um valor diferente do padrão, defina TAIL_L como o split do seu dispositivo
Antes de usar
- É necessário ter um Mac com Apple Silicon e um modelo recente de iPhone Pro; por isso, ainda não funciona em outros hardwares.
- Se o contexto ultrapassar 64k, o app do iPhone precisa permanecer aberto e em primeiro plano; caso contrário, o servidor para.
- É aceita apenas uma solicitação por vez (-np 1).
- Os benchmarks foram realizados principalmente no Mac M4 Pro e no iPhone 17 Pro Max do mantenedor.
Tópicos
Perguntas frequentes
- O que é backburner?
- Conecta um iPhone a um Mac via USB-C para usar a GPU do celular na execução local de um modelo Qwen 27B, acelerando a leitura de prompts e ampliando o contexto. Backburner é um servidor local de inferência de LLM para Macs com Apple Silicon que usa um iPhone conectado como segundo dispositivo de computação. Com um cabo USB-C de 10 Gb/s, o Mac executa as primeiras 40 das 64 camadas de um modelo Qwen 27B, enquanto o iPhone executa as camadas restantes na GPU, em pipeline, para que ambos trabalhem ao mesmo tempo. Isso é voltado ao prefill de prompts, importante quando um agente lê arquivos longos ou saídas de ferramentas.
- backburner é gratuito? Qual é a licença?
- backburner é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
- backburner ainda é mantido?
- Manutenção ativa. O último commit de backburner foi em 13 de out. de 2026.
- Para que posso usar backburner?
- Executar um agente de programação local de 27B em um MacBook com 24 GB que lê arquivos grandes ou saídas de ferramentas. Experimentar inferência local com contexto longo no hardware Apple Silicon que você já tem. Testar inferência dividida entre Mac e iPhone.
- Como instalar backburner?
- Tenha um Mac com Apple Silicon e um iPhone 15 Pro ou posterior, conectados por um cabo USB-C de 10 Gb/s Execute o instalador. Se quiser um valor diferente do padrão, defina TAIL_L como o split do seu dispositivo
- Onde consigo backburner?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/StayLameBro/backburner
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Um mecanismo nativo de inferência especializado para executar DeepSeek V4 Flash e outros modelos grandes selecionados em hardware Metal, CUDA e ROCm de consumo.
23,9 mil2,3 milCMITAtualizado há 23 horas
Mecanismo de inferência de código aberto que ajusta os kernels ao seu hardware para executar modelos abertos mais rápido em Apple Silicon, NVIDIA, AMD ou CPU.
7,2 mil494RustApache-2.0Atualizado ontem
Runtime em Swift e Metal que executa o modelo Gemma 4 26B-A4B de 26B em Macs com Apple Silicon e cerca de 2 GB de RAM, transmitindo os experts do SSD.
6,9 mil461SwiftApache-2.0Atualizado há 5 dias
App de barra de menus para macOS que executa LLMs localmente com llama.cpp e oferece um servidor de API local e uma WebUI integrada.
1,7 mil130SwiftMITAtualizado anteontem
Camada de compatibilidade de código aberto para iOS e macOS que roda sua própria cópia de Diablo II: Resurrected para Switch com Reign of the Warlock nativamente no iPhone, iPad e Mac.
4,1 mil1,1 milCMITAtualizado há 16 horas