라우팅된 전문가를 디스크에서 스트리밍해 일반 하드웨어에서 초대형 MoE 모델을 실행하는 순수 C 추론 엔진입니다.
4.3만4.8천CApache-2.0업데이트 14시간 전
#offloading
“offloading” 관련 오픈소스 프로젝트
offloading 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.
#offloading
offloading 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.
라우팅된 전문가를 디스크에서 스트리밍해 일반 하드웨어에서 초대형 MoE 모델을 실행하는 순수 C 추론 엔진입니다.