“model-serving” 相关开源项目

基于 vLLM 扩展的推理服务框架，支持文本、图像、音频、视频等全模态模型部署。

基于 Kubernetes 的 AI 模型推理平台，统一部署和服务预测式与生成式模型，支持多种机器学习框架。