openvinotoolkit/model_server

O que é?

Recursos principais

• 01Endpoints compatíveis com OpenAI para chat, embeddings, geração de imagens e áudio
• 02API KServe para inferência de modelos clássicos
• 03Continuous batching, streaming e speculative decoding para LLMs
• 04Controle de versões de modelos e recarga a quente a partir de armazenamento local, na nuvem ou no Hugging Face
• 05Grafos MediaPipe e nós Python para pipelines com várias etapas
• 06Métricas compatíveis com Prometheus

Casos de uso

• Disponibilizar um LLM local por uma API compatível com OpenAI em hardware Intel
• Implantar modelos clássicos de visão, como detecção ou OCR, no Kubernetes
• Executar componentes de RAG, como modelos de embeddings e reranking, em CPU ou GPU
• Incorporar a inferência de modelos em uma aplicação nativa em C++ por meio da API C

Início rápido

1. 1

   Baixe a imagem Docker mais recente do OpenVINO Model Server

   docker pull openvino/model_server:latest
2. 2

   Execute o servidor com um LLM usando o comando Docker da seção Serve an LLM do README

Antes de usar

• !O suporte oficial é apenas para Linux e Windows; macOS não é mencionado.
• !A aceleração é voltada para hardware Intel (CPU, GPU e NPU) por meio do OpenVINO.

Tópicos

Perguntas frequentes

O que é model_server?

Servidor de inferência em C++ que disponibiliza modelos de IA generativa e deep learning clássico otimizados para OpenVINO por meio de APIs compatíveis com OpenAI e KServe. O OpenVINO Model Server (OVMS) é um servidor de inferência em C++ que disponibiliza modelos de machine learning por APIs de rede padrão. Ele atende LLMs, modelos de visão e linguagem, embeddings, reranking, geração de imagens e áudio por endpoints compatíveis com OpenAI, além de modelos clássicos, como detecção de objetos, classificação e OCR, por APIs KServe.

model_server é gratuito? Qual é a licença?

model_server é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.

model_server ainda é mantido?

Manutenção ativa. O último commit de model_server foi em 21 de out. de 2026.

Para que posso usar model_server?

Disponibilizar um LLM local por uma API compatível com OpenAI em hardware Intel Implantar modelos clássicos de visão, como detecção ou OCR, no Kubernetes Executar componentes de RAG, como modelos de embeddings e reranking, em CPU ou GPU Incorporar a inferência de modelos em uma aplicação nativa em C++ por meio da API C

Como instalar model_server?

Baixe a imagem Docker mais recente do OpenVINO Model Server: docker pull openvino/model_server:latest Execute o servidor com um LLM usando o comando Docker da seção Serve an LLM do README

Onde consigo model_server?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/openvinotoolkit/model_server