openvinotoolkit/model_server

这是什么？

核心功能

• 01提供 OpenAI 兼容接口，支持对话、嵌入、图像生成和语音
• 02通过 KServe API 提供经典模型推理
• 03支持 LLM 的连续批处理、流式输出和投机解码
• 04支持模型版本管理，并可热加载本地、云端或 Hugging Face 中的模型
• 05通过 MediaPipe 图和 Python 节点构建多步骤流水线
• 06提供 Prometheus 兼容的监控指标

适用场景

• 在 Intel 硬件上通过 OpenAI 兼容接口提供本地大语言模型服务
• 在 Kubernetes 上部署目标检测、OCR 等经典视觉模型
• 在 CPU 或 GPU 上运行嵌入和重排序模型，用于 RAG 等场景
• 通过 C API 将模型推理嵌入原生 C++ 应用

快速上手

1. 1

   拉取最新的 OpenVINO Model Server Docker 镜像

   docker pull openvino/model_server:latest
2. 2

   按照 README 中“Serve an LLM”部分的 Docker 命令运行服务器并加载 LLM

使用前须知

• !官方仅支持 Linux 和 Windows，README 未列出 macOS。
• !加速功能面向 Intel 硬件（CPU、GPU、NPU），依赖 OpenVINO。

标签

常见问题

model_server 是什么？

基于 OpenVINO 的 C++ 推理服务器，通过 OpenAI 兼容和 KServe 接口提供生成式 AI 与经典深度学习模型服务。 OpenVINO Model Server（OVMS）是一个 C++ 推理服务器，通过标准网络接口对外提供机器学习模型服务。生成式 AI 方面，它通过 OpenAI 兼容接口提供大语言模型、视觉语言模型、文本嵌入、重排序、图像生成和语音能力；经典模型（如目标检测、图像分类、OCR）则通过 KServe 接口提供。

model_server 可以免费使用吗？用的什么许可证？

model_server 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

model_server 还在维护吗？

活跃维护中。model_server 最近一次提交是在 2026年10月21日。

model_server 适合用来做什么？

在 Intel 硬件上通过 OpenAI 兼容接口提供本地大语言模型服务 在 Kubernetes 上部署目标检测、OCR 等经典视觉模型 在 CPU 或 GPU 上运行嵌入和重排序模型，用于 RAG 等场景 通过 C API 将模型推理嵌入原生 C++ 应用

model_server 怎么安装和运行？

拉取最新的 OpenVINO Model Server Docker 镜像: docker pull openvino/model_server:latest 按照 README 中“Serve an LLM”部分的 Docker 命令运行服务器并加载 LLM

在哪里获取 model_server？

源代码和安装说明在 GitHub 上：https://github.com/openvinotoolkit/model_server