openvinotoolkit/model_server

Что это?

Ключевые возможности

• 01OpenAI-совместимые эндпоинты для чата, эмбеддингов, генерации изображений и аудио
• 02API KServe для инференса классических моделей
• 03Непрерывная пакетная обработка, потоковая передача и спекулятивное декодирование для LLM
• 04Версионирование моделей и горячая перезагрузка из локального, облачного хранилища или Hugging Face
• 05Графы MediaPipe и узлы Python для многоэтапных пайплайнов
• 06Метрики, совместимые с Prometheus

Сценарии использования

• Запуск локальной LLM на оборудовании Intel с доступом через OpenAI-совместимый API
• Развёртывание классических моделей компьютерного зрения, например для детекции или OCR, в Kubernetes
• Запуск компонентов RAG, таких как модели эмбеддингов и reranking, на CPU или GPU
• Встраивание инференса моделей в нативное приложение на C++ через C API

Быстрый старт

1. 1

   Загрузите последнюю версию Docker-образа OpenVINO Model Server

   docker pull openvino/model_server:latest
2. 2

   Запустите сервер с LLM с помощью команды Docker из раздела Serve an LLM в README

Что важно знать

• !Официально поддерживаются только Linux и Windows; macOS не упоминается.
• !Аппаратное ускорение через OpenVINO ориентировано на оборудование Intel (CPU, GPU, NPU).

Темы

Частые вопросы

Что такое model_server?

C++-сервер инференса для генеративных AI-моделей и классических моделей глубокого обучения, оптимизированных для OpenVINO, с поддержкой OpenAI-совместимых API и KServe. OpenVINO Model Server (OVMS) — это C++-сервер инференса, который предоставляет доступ к моделям машинного обучения через стандартные сетевые API. Он поддерживает LLM, vision language models, эмбеддинги, reranking, генерацию изображений и аудио через OpenAI-совместимые эндпоинты, а также классические модели — например, для детекции объектов, классификации и OCR — через API KServe.

model_server можно использовать бесплатно? Какая у него лицензия?

model_server распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

model_server всё ещё поддерживается?

Активно поддерживается. Последний коммит в model_server — 21 окт. 2026 г..

Для чего можно использовать model_server?

Запуск локальной LLM на оборудовании Intel с доступом через OpenAI-совместимый API Развёртывание классических моделей компьютерного зрения, например для детекции или OCR, в Kubernetes Запуск компонентов RAG, таких как модели эмбеддингов и reranking, на CPU или GPU Встраивание инференса моделей в нативное приложение на C++ через C API

Как установить model_server?

Загрузите последнюю версию Docker-образа OpenVINO Model Server: docker pull openvino/model_server:latest Запустите сервер с LLM с помощью команды Docker из раздела Serve an LLM в README

Где скачать model_server?

Исходный код и инструкции по установке — на GitHub: https://github.com/openvinotoolkit/model_server