SGLang은 다양한 GPU, TPU, CPU 플랫폼에서 대규모 언어·비전 언어·디퓨전 모델을 서빙하는 오픈소스 추론 프레임워크입니다.
3.7만9.7천PythonApache-2.0업데이트 5시간 전
#serving
“serving” 관련 오픈소스 프로젝트
serving 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.
#serving
serving 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.