“model-serving” 관련 오픈소스 프로젝트

텍스트, 이미지, 오디오, 비디오 및 액션을 출력하는 옴니 모달리티 모델을 실행하도록 vLLM을 확장한 서빙 프레임워크입니다.

여러 ML 프레임워크의 예측형 및 생성형 AI 모델을 대규모로 배포하고 서빙하는 Kubernetes 네이티브 플랫폼입니다.