GPU와 CPU 메모리에 작업을 분산해 소비자용 GPU에서 대형 오픈 웨이트 모델을 구동하는 엣지 네이티브 MoE 서빙 엔진
1.5만1.5천PythonApache-2.0업데이트 16시간 전
대안 2개
LM Studio의 무료 오픈소스 대안을 찾고 계신가요? 아래 2개 프로젝트가 LM Studio를 대체할 수 있습니다. 모두 사람이 검토하고 쉽게 설명했으니 스타, 라이선스, 유지보수 상태를 한눈에 비교해 보세요.
| 프로젝트 | 스타 | 라이선스 | 마지막 커밋 |
|---|---|---|---|
| FlashML-org/FreeToken | ★ 1.5만 | Apache-2.0 | 16시간 전 |
| drumih/turbo-fieldfare | ★ 6.9천 | Apache-2.0 | 4일 전 |
GPU와 CPU 메모리에 작업을 분산해 소비자용 GPU에서 대형 오픈 웨이트 모델을 구동하는 엣지 네이티브 MoE 서빙 엔진
SSD에서 전문가 가중치를 스트리밍해 Apple Silicon Mac에서 약 2GB RAM으로 Gemma 4 26B-A4B를 구동하는 Swift 및 Metal 런타임입니다.