backburner은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

backburner은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

backburner은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. backburner의 마지막 커밋은 2026년 10월 13일입니다.

backburner은(는) 어디에 사용할 수 있나요?

대용량 파일이나 도구 출력을 읽는 27B 로컬 코딩 에이전트를 24 GB MacBook에서 실행합니다. 이미 보유한 Apple Silicon 기기에서 긴 컨텍스트의 로컬 추론을 실험합니다. Mac과 iPhone 간 기기 분산 추론을 테스트합니다.

backburner는 어떻게 설치하나요?

Apple Silicon Mac과 iPhone 15 Pro 이상 모델을 준비하고, 10 Gb/s USB-C 케이블로 연결하세요 설치 프로그램을 실행하세요. 기본값이 아닌 값으로 설정하려면 TAIL_L에 기기의 split 값을 지정하세요

backburner은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/StayLameBro/backburner

StayLameBro/backburner

USB-C로 iPhone과 Mac을 연결해 휴대폰 GPU로 로컬 Qwen 27B 추론의 프롬프트 처리와 컨텍스트 길이를 개선합니다.

GitHub에서 보기

스타: 1,072
포크: 120
열린 이슈: 8
마지막 커밋: 7일 전

어떤 프로젝트인가요?

Backburner는 연결된 iPhone을 보조 연산 장치로 활용하는 Apple Silicon Mac용 로컬 LLM 추론 서버입니다. 10 Gb/s USB-C 케이블로 연결하면 Mac에서 Qwen 27B 모델의 64개 레이어 중 앞의 40개를 실행하고, iPhone에서는 나머지 레이어를 GPU로 실행합니다. 두 기기가 동시에 작업하도록 파이프라인 방식으로 처리합니다. 에이전트가 긴 파일이나 도구 출력을 읽을 때 중요한 프롬프트 프리필 속도를 높이는 것이 목적입니다.

iPhone은 컨텍스트에서 가장 오래된 부분을 보관하고 해당 부분에 대한 attention도 계산할 수 있어, 서버가 24 GB Mac 단독으로 처리할 때보다 훨씬 긴 컨텍스트를 다룰 수 있습니다. 서버는 localhost에서 OpenAI 호환 엔드포인트를 제공합니다. 엔진은 Mac 전용 커널(SME2, Metal, speculative decoding)을 적용한 llama.cpp 포크이며, 프로젝트 README에 따르면 테스트에서 iPhone 연결 여부와 관계없이 greedy 출력이 동일합니다.

프로젝트는 프리릴리스 단계이며 M4 Pro Mac과 iPhone 17 Pro Max 및 16 Pro Max에서 테스트되었습니다. 설치에는 설치 스크립트, 무료 Apple ID로 사용할 수 있는 사이드로드 iPhone 앱, 별도로 다운로드해야 하는 모델 파일이 필요합니다.

핵심 기능

01Mac GPU와 iPhone GPU에 레이어를 분산해 프롬프트 프리필 속도를 높입니다.
02가장 오래된 attention 키를 iPhone으로 옮겨 사용 가능한 컨텍스트 길이를 늘립니다.
03OpenAI 호환 로컬 API 서버를 제공합니다.
04디스크에 저장한 프롬프트 캐시를 사용해 이미 처리한 시스템 프롬프트를 다시 읽지 않습니다.
05사이드로드한 iPhone 앱과 USB-C 케이블로 실행하며, jailbreak는 필요하지 않습니다.

활용 사례

대용량 파일이나 도구 출력을 읽는 27B 로컬 코딩 에이전트를 24 GB MacBook에서 실행합니다.
이미 보유한 Apple Silicon 기기에서 긴 컨텍스트의 로컬 추론을 실험합니다.
Mac과 iPhone 간 기기 분산 추론을 테스트합니다.

빠른 시작

1
Apple Silicon Mac과 iPhone 15 Pro 이상 모델을 준비하고, 10 Gb/s USB-C 케이블로 연결하세요
2
설치 프로그램을 실행하세요. 기본값이 아닌 값으로 설정하려면 TAIL_L에 기기의 split 값을 지정하세요

사용 전 알아둘 점

Apple Silicon Mac과 최신 iPhone Pro 모델이 필요하므로, 아직 다른 하드웨어에서는 실행되지 않습니다.
컨텍스트가 64k를 초과하면 iPhone 앱을 열어 전면에 둬야 합니다. 그렇지 않으면 서버가 중지됩니다.
한 번에 하나의 요청만 지원합니다(-np 1).
벤치마크는 주로 메인테이너가 보유한 M4 Pro Mac과 iPhone 17 Pro Max에서 수행되었습니다.

토픽

#local-llm #llm-inference #apple-silicon #metal #llama-cpp #ios #speculative-decoding #iphone #macos #qwen

자주 묻는 질문

backburner은(는) 무엇인가요?: USB-C로 iPhone과 Mac을 연결해 휴대폰 GPU로 로컬 Qwen 27B 추론의 프롬프트 처리와 컨텍스트 길이를 개선합니다. Backburner는 연결된 iPhone을 보조 연산 장치로 활용하는 Apple Silicon Mac용 로컬 LLM 추론 서버입니다. 10 Gb/s USB-C 케이블로 연결하면 Mac에서 Qwen 27B 모델의 64개 레이어 중 앞의 40개를 실행하고, iPhone에서는 나머지 레이어를 GPU로 실행합니다. 두 기기가 동시에 작업하도록 파이프라인 방식으로 처리합니다. 에이전트가 긴 파일이나 도구 출력을 읽을 때 중요한 프롬프트 프리필 속도를 높이는 것이 목적입니다.
backburner은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?: backburner은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
backburner은(는) 아직 유지보수되고 있나요?: 활발히 유지보수 중. backburner의 마지막 커밋은 2026년 10월 13일입니다.
backburner은(는) 어디에 사용할 수 있나요?: 대용량 파일이나 도구 출력을 읽는 27B 로컬 코딩 에이전트를 24 GB MacBook에서 실행합니다. 이미 보유한 Apple Silicon 기기에서 긴 컨텍스트의 로컬 추론을 실험합니다. Mac과 iPhone 간 기기 분산 추론을 테스트합니다.
backburner는 어떻게 설치하나요?: Apple Silicon Mac과 iPhone 15 Pro 이상 모델을 준비하고, 10 Gb/s USB-C 케이블로 연결하세요 설치 프로그램을 실행하세요. 기본값이 아닌 값으로 설정하려면 TAIL_L에 기기의 split 값을 지정하세요
backburner은(는) 어디서 받을 수 있나요?: 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/StayLameBro/backburner

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.