여러 GPU와 노드에서 vLLM, SGLang, TensorRT-LLM을 오케스트레이션하는 데이터센터 규모의 분산 추론 서빙 프레임워크입니다.
8.4천1.8천RustOther업데이트 7시간 전
#disaggregated-serving
“disaggregated-serving” 관련 오픈소스 프로젝트
disaggregated-serving 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.
#disaggregated-serving
disaggregated-serving 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.
여러 GPU와 노드에서 vLLM, SGLang, TensorRT-LLM을 오케스트레이션하는 데이터센터 규모의 분산 추론 서빙 프레임워크입니다.