Interfaz web autoalojada e independiente del proveedor para chatear con modelos locales de Ollama y APIs compatibles con OpenAI, con RAG, plugins y control de acceso multiusuario.
156,2 mil22,7 milPythonOtherActualizado anteayer
openvinotoolkit/model_server
Servidor de inferencia en C++ que sirve modelos de IA generativa optimizados para OpenVINO y modelos clásicos de deep learning mediante API compatibles con OpenAI y KServe.
- Estrellas
- 952
- Forks
- 284
- Issues abiertos
- 161
- Último commit
- hace 6 horas
¿Qué es?
OpenVINO Model Server (OVMS) es un servidor de inferencia en C++ que expone modelos de machine learning mediante API de red estándar. Admite LLM, modelos de visión y lenguaje, embeddings, reranking, generación de imágenes y audio a través de endpoints compatibles con OpenAI, y modelos clásicos, como los de detección de objetos, clasificación y OCR, mediante API de KServe.
Se ejecuta en Docker, en Linux o Windows sin contenedores, y en Kubernetes u OpenShift. Los modelos se pueden cargar desde almacenamiento local, S3, GCS, Azure Blob o Hugging Face Hub, con control de versiones y recarga en caliente. La inferencia se ejecuta en CPU, GPU integrada o dedicada y NPU de Intel mediante OpenVINO.
El servidor admite los formatos de modelo TensorFlow, ONNX, PaddlePaddle y OpenVINO IR, además de grafos de MediaPipe y nodos de ejecución de Python para crear pipelines. También ofrece métricas compatibles con Prometheus y una API de C para integrarlo en aplicaciones nativas.
Funciones clave
- 01Endpoints compatibles con OpenAI para chat, embeddings, generación de imágenes y audio
- 02API de KServe para inferencia de modelos clásicos
- 03Batching continuo, streaming y decodificación especulativa para LLM
- 04Control de versiones y recarga en caliente de modelos desde almacenamiento local, en la nube o de Hugging Face
- 05Grafos de MediaPipe y nodos de Python para pipelines de varios pasos
- 06Métricas compatibles con Prometheus
Casos de uso
- Servir un LLM local mediante una API compatible con OpenAI en hardware Intel
- Implementar modelos de visión clásicos, como los de detección u OCR, en Kubernetes
- Ejecutar componentes de RAG, como modelos de embeddings y reranking, en CPU o GPU
- Integrar la inferencia de modelos en una aplicación nativa de C++ mediante la API de C
Inicio rápido
- 1
Descarga la imagen Docker más reciente de OpenVINO Model Server
docker pull openvino/model_server:latest - 2
Ejecuta el servidor con un LLM usando el comando Docker de la sección «Serve an LLM» del README
Antes de usarlo
- Solo cuenta con soporte oficial en Linux y Windows; no se menciona macOS.
- La aceleración está orientada al hardware de Intel (CPU, GPU y NPU) mediante OpenVINO.
Temas
Preguntas frecuentes
- ¿Qué es model_server?
- Servidor de inferencia en C++ que sirve modelos de IA generativa optimizados para OpenVINO y modelos clásicos de deep learning mediante API compatibles con OpenAI y KServe. OpenVINO Model Server (OVMS) es un servidor de inferencia en C++ que expone modelos de machine learning mediante API de red estándar. Admite LLM, modelos de visión y lenguaje, embeddings, reranking, generación de imágenes y audio a través de endpoints compatibles con OpenAI, y modelos clásicos, como los de detección de objetos, clasificación y OCR, mediante API de KServe.
- ¿model_server es gratuito? ¿Qué licencia tiene?
- model_server es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿model_server sigue mantenido?
- Mantenimiento activo. El último commit de model_server fue el 21 oct 2026.
- ¿Para qué puedo usar model_server?
- Servir un LLM local mediante una API compatible con OpenAI en hardware Intel Implementar modelos de visión clásicos, como los de detección u OCR, en Kubernetes Ejecutar componentes de RAG, como modelos de embeddings y reranking, en CPU o GPU Integrar la inferencia de modelos en una aplicación nativa de C++ mediante la API de C
- ¿Cómo se instala model_server?
- Descarga la imagen Docker más reciente de OpenVINO Model Server: docker pull openvino/model_server:latest Ejecuta el servidor con un LLM usando el comando Docker de la sección «Serve an LLM» del README
- ¿Dónde consigo model_server?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/openvinotoolkit/model_server
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Infraestructura de código abierto para ejecutar código generado por IA en sandboxes aislados en la nube, con SDKs para JavaScript y Python.
14,5 mil1,1 milPythonApache-2.0Actualizado anteayer
Toolkit para comprimir, desplegar y servir LLM y modelos de visión y lenguaje, con motores de inferencia TurboMind y PyTorch.
8,1 mil767PythonApache-2.0Actualizado hace 4 horas
Proxy de código abierto para agentes de IA que aporta seguridad, observabilidad y gobernanza al tráfico de LLM, herramientas MCP y comunicación entre agentes.
5,4 mil961RustApache-2.0Actualizado hace 14 horas
Servidor de inferencia autohospedado que sirve modelos de embeddings, reranking, OCR, extracción, seguridad y LLM desde un solo clúster mediante una API compatible con OpenAI.
3,4 mil323PythonApache-2.0Actualizado anteayer
Un plano de control de código abierto basado en Envoy que ofrece a las aplicaciones una API compatible con OpenAI para proveedores de LLM alojados, inferencia autogestionada y servidores MCP.
2,3 mil423GoApache-2.0Actualizado hace 15 horas