Repolode
Enviar
ome-projects

ome-projects/ome

Un operador de Kubernetes para desplegar y gestionar servicios de inferencia de LLM, con planificación de GPU y gestión del ciclo de vida de modelos para SGLang, vLLM, TensorRT-LLM y Triton.

Ver en GitHubSitio web
Estrellas
518
Forks
104
Issues abiertos
120
Último commit
hace 15 horas

¿Qué es?

OME (Open Model Engine) es un operador de Kubernetes para desplegar y operar modelos de lenguaje de gran tamaño. Representa los modelos base, los pesos ajustados con LoRA, los entornos de ejecución de serving y los servicios de inferencia como recursos personalizados; su controlador descarga y analiza los archivos de los modelos, selecciona una configuración de runtime compatible y genera los recursos de Kubernetes necesarios para ejecutarlos.

El proyecto está pensado para clústeres que ejecutan varios modelos en GPU. Incluye planificación mediante empaquetado compacto de cargas en GPU a través de un scheduler independiente, definiciones de AcceleratorClass para seleccionar hardware, desagregación de prefill y decode, inferencia multinodo y despliegues canary o blue-green. Se integra con Kueue, LeaderWorkerSet, KEDA y Gateway API Inference Extension.

El plugin `kubectl ome` permite inspeccionar modelos, runtimes y servicios, transmitir logs y ejecutar acciones protegidas, como revertir un despliegue o drenar el tráfico. Los complementos alpha opcionales incluyen la gestión de cuotas para flotas y un componente de mantenimiento de GPU. Se instala mediante charts de Helm y requiere Kubernetes 1.28 o posterior.

Funciones clave

  • 01Los modelos, runtimes y servicios de inferencia se definen como recursos personalizados de Kubernetes.
  • 02Selección automática del runtime según la arquitectura, el formato, la cuantización y el tamaño del modelo.
  • 03Compatible con SGLang y vLLM; la descripción del proyecto también menciona TensorRT-LLM y Triton.
  • 04Desagregación de prefill y decode, inferencia multinodo y despliegues canary o blue-green.
  • 05Planificación mediante empaquetado compacto de cargas en GPU y selección de hardware basada en AcceleratorClass.
  • 06Un plugin de kubectl para inspeccionar servicios y ejecutar acciones protegidas sobre despliegues y tráfico.

Casos de uso

  • Servir varios LLM de pesos abiertos, como Llama, Qwen o DeepSeek, en un clúster de Kubernetes con GPU compartidas.
  • Ejecutar modelos grandes en varios nodos mediante la desagregación de prefill y decode.
  • Gestionar despliegues de LLM y el escalado automático con KEDA, Kueue o Gateway API.
  • Evaluar el rendimiento de modelos con patrones de tráfico configurables mediante recursos BenchmarkJob.

Inicio rápido

  1. 1

    Instala los CRD de OME con Helm

    helm upgrade --install ome-crd oci://ghcr.io/moirai-internal/charts/ome-crd --namespace ome --create-namespace
  2. 2

    Instala los recursos de OME con Helm

    helm upgrade --install ome oci://ghcr.io/moirai-internal/charts/ome-resources --namespace ome

Antes de usarlo

  • Se requiere Kubernetes 1.28 o posterior y un clúster de Kubernetes donde ejecutarlo.
  • Algunos complementos, como el planificador, el administrador de cuotas y Alfred, están en fase alfa.

Temas

#llm-inference#kubernetes#model-serving#gpu-scheduling#sglang#vllm#llm-ops#deepseek#k8s#kimi-k2

Preguntas frecuentes

¿Qué es ome?
Un operador de Kubernetes para desplegar y gestionar servicios de inferencia de LLM, con planificación de GPU y gestión del ciclo de vida de modelos para SGLang, vLLM, TensorRT-LLM y Triton. OME (Open Model Engine) es un operador de Kubernetes para desplegar y operar modelos de lenguaje de gran tamaño. Representa los modelos base, los pesos ajustados con LoRA, los entornos de ejecución de serving y los servicios de inferencia como recursos personalizados; su controlador descarga y analiza los archivos de los modelos, selecciona una configuración de runtime compatible y genera los recursos de Kubernetes necesarios para ejecutarlos.
¿ome es gratuito? ¿Qué licencia tiene?
ome es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿ome sigue mantenido?
Mantenimiento activo. El último commit de ome fue el 22 oct 2026.
¿Para qué puedo usar ome?
Servir varios LLM de pesos abiertos, como Llama, Qwen o DeepSeek, en un clúster de Kubernetes con GPU compartidas. Ejecutar modelos grandes en varios nodos mediante la desagregación de prefill y decode. Gestionar despliegues de LLM y el escalado automático con KEDA, Kueue o Gateway API. Evaluar el rendimiento de modelos con patrones de tráfico configurables mediante recursos BenchmarkJob.
¿Cómo se instala ome?
Instala los CRD de OME con Helm: helm upgrade --install ome-crd oci://ghcr.io/moirai-internal/charts/ome-crd --namespace ome --create-namespace Instala los recursos de OME con Helm: helm upgrade --install ome oci://ghcr.io/moirai-internal/charts/ome-resources --namespace ome
¿Dónde consigo ome?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/ome-projects/ome

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados