Repolode
Enviar
ome-projects

ome-projects/ome

Um operador Kubernetes para implantar e gerenciar o serving de LLMs, com agendamento de GPUs e gerenciamento do ciclo de vida de modelos para SGLang, vLLM, TensorRT-LLM e Triton.

Ver no GitHubSite
Estrelas
518
Forks
104
Issues abertas
120
Último commit
há 15 horas

O que é?

OME (Open Model Engine) é um operador Kubernetes para implantar e operar modelos de linguagem grandes. Ele representa modelos-base, pesos ajustados com LoRA, runtimes de serving e serviços de inferência como recursos personalizados, e seu controller baixa e analisa arquivos de modelo, seleciona uma configuração de runtime compatível e gera os recursos Kubernetes necessários para executá-los.

O projeto é voltado a clusters que executam vários modelos em GPUs. Ele inclui agendamento por empacotamento eficiente de cargas de GPU, por meio de um scheduler separado, definições de AcceleratorClass para seleção de hardware, desagregação de prefill e decode e inferência em múltiplos nós, além de lançamentos canário ou blue-green. Entre as integrações estão Kueue, LeaderWorkerSet, KEDA e a Gateway API Inference Extension.

Um plugin `kubectl ome` inspeciona modelos, runtimes e serviços, transmite logs e executa ações protegidas, como reverter um rollout ou drenar o tráfego. Add-ons alpha opcionais abrangem o gerenciamento de cotas para frotas e um componente de manutenção de GPUs. A instalação é feita por meio de charts Helm, e o projeto requer Kubernetes 1.28 ou mais recente.

Recursos principais

  • 01Modelos, runtimes e serviços de inferência são definidos como recursos personalizados do Kubernetes.
  • 02Seleção automática de runtime com base na arquitetura, no formato, na quantização e no tamanho do modelo.
  • 03Dá suporte a SGLang e vLLM, e a descrição do projeto também menciona TensorRT-LLM e Triton.
  • 04Desagregação de prefill e decode, inferência em múltiplos nós e lançamentos canário ou blue-green.
  • 05Agendamento de GPUs por empacotamento eficiente de cargas e seleção de hardware baseada em AcceleratorClass.
  • 06Um plugin kubectl para inspecionar serviços e executar ações protegidas de rollout e tráfego.

Casos de uso

  • Servir vários LLMs com pesos abertos, como Llama, Qwen ou DeepSeek, em um cluster Kubernetes compartilhado com GPUs.
  • Executar modelos grandes em vários nós com desagregação de prefill e decode.
  • Gerenciar lançamentos de LLMs e escalabilidade automática com KEDA, Kueue ou a Gateway API.
  • Avaliar o desempenho de modelos sob padrões de tráfego configuráveis usando recursos BenchmarkJob.

Início rápido

  1. 1

    Instale os CRDs do OME com o Helm

    helm upgrade --install ome-crd oci://ghcr.io/moirai-internal/charts/ome-crd --namespace ome --create-namespace
  2. 2

    Instale os recursos do OME com o Helm

    helm upgrade --install ome oci://ghcr.io/moirai-internal/charts/ome-resources --namespace ome

Antes de usar

  • Requer Kubernetes 1.28 ou mais recente e um cluster Kubernetes para executá-lo.
  • Alguns complementos, como o agendador, o gerenciador de cotas e o Alfred, estão em versão alfa.

Tópicos

#llm-inference#kubernetes#model-serving#gpu-scheduling#sglang#vllm#llm-ops#deepseek#k8s#kimi-k2

Perguntas frequentes

O que é ome?
Um operador Kubernetes para implantar e gerenciar o serving de LLMs, com agendamento de GPUs e gerenciamento do ciclo de vida de modelos para SGLang, vLLM, TensorRT-LLM e Triton. OME (Open Model Engine) é um operador Kubernetes para implantar e operar modelos de linguagem grandes. Ele representa modelos-base, pesos ajustados com LoRA, runtimes de serving e serviços de inferência como recursos personalizados, e seu controller baixa e analisa arquivos de modelo, seleciona uma configuração de runtime compatível e gera os recursos Kubernetes necessários para executá-los.
ome é gratuito? Qual é a licença?
ome é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
ome ainda é mantido?
Manutenção ativa. O último commit de ome foi em 22 de out. de 2026.
Para que posso usar ome?
Servir vários LLMs com pesos abertos, como Llama, Qwen ou DeepSeek, em um cluster Kubernetes compartilhado com GPUs. Executar modelos grandes em vários nós com desagregação de prefill e decode. Gerenciar lançamentos de LLMs e escalabilidade automática com KEDA, Kueue ou a Gateway API. Avaliar o desempenho de modelos sob padrões de tráfego configuráveis usando recursos BenchmarkJob.
Como instalar ome?
Instale os CRDs do OME com o Helm: helm upgrade --install ome-crd oci://ghcr.io/moirai-internal/charts/ome-crd --namespace ome --create-namespace Instale os recursos do OME com o Helm: helm upgrade --install ome oci://ghcr.io/moirai-internal/charts/ome-resources --namespace ome
Onde consigo ome?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/ome-projects/ome

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados