turbo-fieldfare은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

turbo-fieldfare은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

turbo-fieldfare은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. turbo-fieldfare의 마지막 커밋은 2026년 10월 15일입니다.

turbo-fieldfare은(는) 어디에 사용할 수 있나요?

클라우드 연결 없이 기본형 RAM 8GB MacBook에서 대형 Gemma 모델을 로컬로 실행합니다. Apple Silicon에서 전문가 스트리밍과 Metal 커널 설계를 실험합니다. Chat Completions API를 사용하는 도구를 위해 로컬 OpenAI 호환 엔드포인트를 제공합니다. 기본 Mac 앱에서 비공개 온디바이스 모델과 대화합니다.

turbo-fieldfare는 어떻게 설치하나요?

리포지토리를 클론합니다: git clone https://github.com/drumih/turbo-fieldfare.git 프로젝트 디렉터리로 이동합니다: cd turbo-fieldfare 릴리스 버전을 빌드합니다: swift build -c release Mac 앱을 실행한 다음 앱 내에서 모델을 다운로드하고 불러옵니다: .build/release/TurboFieldfareMac

turbo-fieldfare은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/drumih/turbo-fieldfare

drumih/turbo-fieldfare

SSD에서 전문가를 스트리밍해 Apple Silicon Mac에서 Gemma 4 26B-A4B를 실행하는 Swift·Metal 런타임

GitHub에서 보기

스타: 6,944
포크: 461
열린 이슈: 53
마지막 커밋: 5일 전

어떤 프로젝트인가요?

TurboFieldfare는 가중치 14.3GB 전체를 메모리에 올리지 않고 instruction-tuned Gemma 4 26B-A4B 모델을 실행합니다. 공유 코어 가중치와 FP16 KV cache는 메모리에 상주시킨 다음, 토큰마다 필요한 라우팅 전문가만 SSD에서 제한된 전문가 캐시를 통해 스트리밍합니다. 덕분에 RAM이 8GB인 Apple Silicon Mac에서도 모델을 실행할 수 있습니다.

이 프로젝트는 MLX나 llama.cpp를 감싼 래퍼가 아니라 Swift와 Metal로 작성된 모델 전용 런타임입니다. 고정된 Hugging Face 체크포인트를 로컬 .gturbo 형식으로 재패킹하는 스트리밍 설치 프로그램, 기본 Mac 앱, 명령줄 인터페이스, loopback OpenAI 호환 Chat Completions 서버를 포함합니다. M2 이상 칩에서는 선택형 컴패니언 팩을 통해 이미지 입력도 사용할 수 있습니다.

macOS 26, Metal 4, Swift 6.2가 필요하며 arm64 Mac만 지원합니다. 보고된 디코딩 속도는 RAM 8GB의 M2 MacBook Air에서 초당 5.1~6.3토큰, RAM 24GB의 M5 Pro에서 초당 31~35토큰입니다.

핵심 기능

01제한된 캐시를 통해 SSD에서 라우팅 전문가를 스트리밍해 가중치와 KV cache 약 2GB만 메모리에 유지합니다.
02RAM 8GB의 Apple Silicon Mac에서 실행되며, RAM 8GB의 M2 MacBook Air에서 검증되었습니다.
03기본 Mac 앱, CLI, loopback OpenAI 호환 Chat Completions 서버를 제공합니다.
04스트리밍 설치 프로그램이 디스크에 전체 복사본을 준비하지 않고 Hugging Face 체크포인트를 바로 재패킹합니다.
05서버에서 함수 도구 선언을 지원하며, 도구 호출을 반환해 클라이언트가 실행하도록 합니다.
06선택형 컴패니언 팩을 설치하면 M2 이상 칩에서 이미지 입력을 사용할 수 있습니다.

활용 사례

클라우드 연결 없이 기본형 RAM 8GB MacBook에서 대형 Gemma 모델을 로컬로 실행합니다.
Apple Silicon에서 전문가 스트리밍과 Metal 커널 설계를 실험합니다.
Chat Completions API를 사용하는 도구를 위해 로컬 OpenAI 호환 엔드포인트를 제공합니다.
기본 Mac 앱에서 비공개 온디바이스 모델과 대화합니다.

빠른 시작

1
리포지토리를 클론합니다
git clone https://github.com/drumih/turbo-fieldfare.git
2
프로젝트 디렉터리로 이동합니다
cd turbo-fieldfare
3
릴리스 버전을 빌드합니다
swift build -c release
4
Mac 앱을 실행한 다음 앱 내에서 모델을 다운로드하고 불러옵니다
.build/release/TurboFieldfareMac

사용 전 알아둘 점

Metal 4를 지원하는 macOS 26 실행 Apple Silicon Mac이 필요합니다. Intel Mac과 구버전 macOS는 지원되지 않습니다.
첫 실행 시 약 15 GB의 모델 가중치를 다운로드하고 설치합니다.
처리량은 하드웨어에 따라 크게 달라지며, 8 GB M2에서는 느립니다(약 5~6 tok/s).
로컬 서버에는 원격 인증이나 TLS가 없으므로 루프백에만 바인딩해야 합니다.

토픽

#apple-silicon #metal #llm-inference #on-device-ai #gemma #swift #local-ai #gemma4 #gemma4-26b-a4b #gpgpu

자주 묻는 질문

turbo-fieldfare은(는) 무엇인가요?: SSD에서 전문가를 스트리밍해 Apple Silicon Mac에서 Gemma 4 26B-A4B를 실행하는 Swift·Metal 런타임 TurboFieldfare는 가중치 14.3GB 전체를 메모리에 올리지 않고 instruction-tuned Gemma 4 26B-A4B 모델을 실행합니다. 공유 코어 가중치와 FP16 KV cache는 메모리에 상주시킨 다음, 토큰마다 필요한 라우팅 전문가만 SSD에서 제한된 전문가 캐시를 통해 스트리밍합니다. 덕분에 RAM이 8GB인 Apple Silicon Mac에서도 모델을 실행할 수 있습니다.
turbo-fieldfare은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?: turbo-fieldfare은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
turbo-fieldfare은(는) 아직 유지보수되고 있나요?: 활발히 유지보수 중. turbo-fieldfare의 마지막 커밋은 2026년 10월 15일입니다.
turbo-fieldfare은(는) 어디에 사용할 수 있나요?: 클라우드 연결 없이 기본형 RAM 8GB MacBook에서 대형 Gemma 모델을 로컬로 실행합니다. Apple Silicon에서 전문가 스트리밍과 Metal 커널 설계를 실험합니다. Chat Completions API를 사용하는 도구를 위해 로컬 OpenAI 호환 엔드포인트를 제공합니다. 기본 Mac 앱에서 비공개 온디바이스 모델과 대화합니다.
turbo-fieldfare는 어떻게 설치하나요?: 리포지토리를 클론합니다: git clone https://github.com/drumih/turbo-fieldfare.git 프로젝트 디렉터리로 이동합니다: cd turbo-fieldfare 릴리스 버전을 빌드합니다: swift build -c release Mac 앱을 실행한 다음 앱 내에서 모델을 다운로드하고 불러옵니다: .build/release/TurboFieldfareMac
turbo-fieldfare은(는) 어디서 받을 수 있나요?: 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/drumih/turbo-fieldfare

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.