GPU와 CPU 메모리에 작업을 분산해 소비자용 GPU에서 대형 오픈 웨이트 모델을 구동하는 엣지 네이티브 MoE 서빙 엔진
1.5만1.5천PythonApache-2.0업데이트 9시간 전
#moe
“moe” 관련 오픈소스 프로젝트
moe 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.
저장소 2개
디스크에서 라우팅된 전문가를 스트리밍해 일반 하드웨어에서도 초대형 MoE 모델을 실행하는 순수 C 추론 엔진입니다.
4.3만4.8천CApache-2.0업데이트 3시간 전