SSD에서 전문가 가중치를 스트리밍해 Apple Silicon Mac에서 약 2GB RAM으로 Gemma 4 26B-A4B를 구동하는 Swift 및 Metal 런타임입니다.
6.9천458SwiftApache-2.0업데이트 3일 전
#on-device-ai
“on-device-ai” 관련 오픈소스 프로젝트
on-device-ai 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.
저장소 5개
Apple Foundation Models로 파일에 관한 질문에 답하는 macOS 및 iOS용 온디바이스 문서 채팅 앱
1978SwiftMIT업데이트 6개월 전
MLX 기반 Anthropic API 서버로 Apple Silicon Mac에서 클라우드 모델이나 API 키 없이 오픈 모델을 실행합니다.
3.4천650PythonMIT업데이트 3일 전
휴대폰, 웨어러블, 로봇, 마이크로컨트롤러에서 실행되는 8~29MB 기초 모델입니다.
1.4만1.1천PythonApache-2.0업데이트 3시간 전
Sophon, Rockchip RKNN, x86 하드웨어에서 배포 가능한 앱을 만드는 C++ 엣지 AI 엔진
1.8천311CApache-2.0업데이트 그저께