여러 GPU와 노드에서 vLLM, SGLang, TensorRT-LLM을 오케스트레이션하는 데이터센터 규모의 분산 추론 서빙 프레임워크입니다.
8.4천1.8천RustOther업데이트 8시간 전
#omni
“omni” 관련 오픈소스 프로젝트
omni 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.
#omni
omni 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.
여러 GPU와 노드에서 vLLM, SGLang, TensorRT-LLM을 오케스트레이션하는 데이터센터 규모의 분산 추론 서빙 프레임워크입니다.