“llm-inference” 관련 오픈소스 프로젝트

서버리스 AI 워크로드를 위한 오픈소스 Go/Python 런타임으로, GPU 추론 엔드포인트와 샌드박스, scale-to-zero 백그라운드 작업 큐를 제공합니다.

SSD에서 전문가 가중치를 스트리밍해 Apple Silicon Mac에서 약 2GB RAM으로 Gemma 4 26B-A4B를 구동하는 Swift 및 Metal 런타임입니다.

GPU와 CPU 메모리에 작업을 분산해 소비자용 GPU에서 대형 오픈 웨이트 모델을 구동하는 엣지 네이티브 MoE 서빙 엔진

디스크에서 라우팅된 전문가를 스트리밍해 일반 하드웨어에서도 초대형 MoE 모델을 실행하는 순수 C 추론 엔진입니다.

Apple Silicon에서 MLX로 이미지 한 장에 대한 후보 답변을 채점하는 비전-언어 모델 추론 교육용 프로젝트입니다.

USB-C로 연결한 iPhone을 활용해 Mac에서 로컬 실행하는 27B Qwen 모델의 프리필 속도와 컨텍스트 길이를 늘립니다.