GPU와 CPU 메모리에 작업을 분산해 소비자용 GPU에서 대형 오픈 웨이트 모델을 구동하는 엣지 네이티브 MoE 서빙 엔진
1.5만1.5천PythonApache-2.0업데이트 19시간 전
#edge
“edge” 관련 오픈소스 프로젝트
edge 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.
#edge
edge 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.
GPU와 CPU 메모리에 작업을 분산해 소비자용 GPU에서 대형 오픈 웨이트 모델을 구동하는 엣지 네이티브 MoE 서빙 엔진