Un launcher y una configuración de llama.cpp con parches para ejecutar el modelo ternario de 1,58 bits Ternary Bonsai 2 27B con un contexto de 262k en GPU NVIDIA de 12 GB y 8 GB.
826PythonOtherActualizado hace 6 horas
StayLameBro/backburner
Conecta un iPhone a un Mac por USB-C para que la GPU del teléfono ayude a ejecutar localmente un modelo Qwen 27B y agilice la lectura de prompts y amplíe el contexto.
- Estrellas
- 1,072
- Forks
- 120
- Issues abiertos
- 8
- Último commit
- hace 7 días
¿Qué es?
Backburner es un servidor local de inferencia de LLM para Macs con Apple Silicon que usa un iPhone conectado como segundo dispositivo de cómputo. Mediante un cable USB-C de 10 Gb/s, el Mac ejecuta las primeras 40 de las 64 capas de un modelo Qwen 27B y el iPhone ejecuta las restantes en su GPU, con un procesamiento en paralelo para que ambos trabajen al mismo tiempo. Esto está pensado para la fase de prefill del prompt, importante cuando un agente lee archivos largos o resultados de herramientas.
El iPhone también puede almacenar la parte más antigua del contexto y calcular la atención sobre ella, lo que permite al servidor gestionar contextos mucho más largos que los que admite por sí solo un Mac de 24 GB. El servidor expone un endpoint compatible con OpenAI en localhost. El motor es un fork de llama.cpp con kernels específicos para Mac (SME2, Metal y speculative decoding), y el README del proyecto indica que, en sus pruebas, la salida greedy es idéntica con el teléfono y sin él.
El proyecto está en fase pre-release y se ha probado en un Mac M4 Pro con un iPhone 17 Pro Max y un 16 Pro Max. La configuración se realiza con un script instalador, una app de iPhone instalada mediante sideloading que funciona con un Apple ID gratuito y descargas independientes de los modelos.
Funciones clave
- 01Divide las capas entre la GPU de un Mac y la de un iPhone para acelerar la fase de prefill del prompt.
- 02Amplía el contexto disponible trasladando al iPhone las claves de atención más antiguas.
- 03Ofrece un servidor API local compatible con OpenAI.
- 04Usa una caché de prompts guardados en disco para no volver a leer prompts de sistema ya conocidos.
- 05Funciona con un cable USB-C y una app de iPhone instalada mediante sideloading, sin necesidad de jailbreak.
Casos de uso
- Ejecutar un agente de programación local de 27B en un MacBook de 24 GB que lee archivos grandes o resultados de herramientas.
- Experimentar con inferencia local de contexto largo en el hardware Apple Silicon que ya tienes.
- Probar la inferencia dividida entre un Mac y un iPhone.
Inicio rápido
- 1
Consigue un Mac con Apple Silicon y un iPhone 15 Pro o posterior, y conéctalos con un cable USB-C de 10 Gb/s
- 2
Ejecuta el instalador. Si quieres un valor distinto del predeterminado, configura TAIL_L con el split de tu dispositivo
Antes de usarlo
- Necesita un Mac con Apple Silicon y un modelo reciente de iPhone Pro, así que por ahora no funciona en otro hardware.
- Si el contexto supera los 64k, la app del iPhone debe permanecer abierta y en primer plano; de lo contrario, el servidor se detiene.
- Solo se admite una solicitud a la vez (-np 1).
- Las pruebas de rendimiento se realizaron principalmente en el Mac M4 Pro y el iPhone 17 Pro Max del mantenedor.
Temas
Preguntas frecuentes
- ¿Qué es backburner?
- Conecta un iPhone a un Mac por USB-C para que la GPU del teléfono ayude a ejecutar localmente un modelo Qwen 27B y agilice la lectura de prompts y amplíe el contexto. Backburner es un servidor local de inferencia de LLM para Macs con Apple Silicon que usa un iPhone conectado como segundo dispositivo de cómputo. Mediante un cable USB-C de 10 Gb/s, el Mac ejecuta las primeras 40 de las 64 capas de un modelo Qwen 27B y el iPhone ejecuta las restantes en su GPU, con un procesamiento en paralelo para que ambos trabajen al mismo tiempo. Esto está pensado para la fase de prefill del prompt, importante cuando un agente lee archivos largos o resultados de herramientas.
- ¿backburner es gratuito? ¿Qué licencia tiene?
- backburner es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿backburner sigue mantenido?
- Mantenimiento activo. El último commit de backburner fue el 13 oct 2026.
- ¿Para qué puedo usar backburner?
- Ejecutar un agente de programación local de 27B en un MacBook de 24 GB que lee archivos grandes o resultados de herramientas. Experimentar con inferencia local de contexto largo en el hardware Apple Silicon que ya tienes. Probar la inferencia dividida entre un Mac y un iPhone.
- ¿Cómo se instala backburner?
- Consigue un Mac con Apple Silicon y un iPhone 15 Pro o posterior, y conéctalos con un cable USB-C de 10 Gb/s Ejecuta el instalador. Si quieres un valor distinto del predeterminado, configura TAIL_L con el split de tu dispositivo
- ¿Dónde consigo backburner?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/StayLameBro/backburner
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Motor de inferencia nativo y especializado para ejecutar DeepSeek V4 Flash y otros modelos grandes seleccionados en hardware de consumo con Metal, CUDA y ROCm.
23,9 mil2,3 milCMITActualizado hace 23 horas
Motor de inferencia de código abierto que ajusta sus kernels al hardware para ejecutar modelos abiertos más rápido en Apple Silicon, NVIDIA, AMD o CPU.
7,2 mil494RustApache-2.0Actualizado ayer
Runtime de Swift y Metal que ejecuta el modelo Gemma 4 26B-A4B de 26B en Mac con Apple Silicon y unos 2 GB de RAM, transmitiendo expertos desde el SSD.
6,9 mil461SwiftApache-2.0Actualizado hace 5 días
App de macOS en la barra de menús para ejecutar LLM locales con llama.cpp, un servidor API local y una WebUI integrada.
1,7 mil130SwiftMITActualizado anteayer
Capa de compatibilidad de código abierto para iOS y macOS que ejecuta de forma nativa en iPhone, iPad y Mac tu propia copia de Switch de Diablo II: Resurrected con Reign of the Warlock.
4,1 mil1,1 milCMITActualizado hace 16 horas