ome-projects/ome

Что это?

Ключевые возможности

• 01Модели, среды выполнения и сервисы инференса задаются как пользовательские ресурсы Kubernetes.
• 02Автоматический выбор среды выполнения с учетом архитектуры, формата, квантования и размера модели.
• 03Поддержка SGLang и vLLM; в описании проекта также упоминаются TensorRT-LLM и Triton.
• 04Разделение prefill и decode, инференс на нескольких узлах, постепенные и blue-green-развертывания.
• 05Упаковка задач на GPU и выбор оборудования на основе AcceleratorClass.
• 06Плагин kubectl для проверки сервисов и выполнения защищенных действий с развертываниями и трафиком.

Сценарии использования

• Сервинг нескольких LLM с открытыми весами, например Llama, Qwen или DeepSeek, в общем Kubernetes-кластере с GPU.
• Запуск больших моделей на нескольких узлах с разделением prefill и decode.
• Управление развертываниями LLM и автомасштабированием с помощью KEDA, Kueue или Gateway API.
• Сравнение производительности моделей при настраиваемых сценариях нагрузки с помощью ресурсов BenchmarkJob.

Быстрый старт

1. 1

   Установите CRD OME с помощью Helm

   helm upgrade --install ome-crd oci://ghcr.io/moirai-internal/charts/ome-crd --namespace ome --create-namespace
2. 2

   Установите ресурсы OME с помощью Helm

   helm upgrade --install ome oci://ghcr.io/moirai-internal/charts/ome-resources --namespace ome

Что важно знать

• !Требуется Kubernetes версии 1.28 или новее и кластер Kubernetes для запуска.
• !Некоторые дополнения, например планировщик, менеджер квот и Alfred, находятся на стадии альфа-версии.

В подборках

Темы

Частые вопросы

Что такое ome?

Kubernetes-оператор для развертывания и управления сервингом LLM: планирование GPU и жизненный цикл моделей для SGLang, vLLM, TensorRT-LLM и Triton. OME (Open Model Engine) — Kubernetes-оператор для развертывания и эксплуатации больших языковых моделей. Он описывает базовые модели, дообученные веса LoRA, среды сервинга и сервисы инференса с помощью пользовательских ресурсов. Контроллер скачивает и анализирует файлы моделей, выбирает подходящую конфигурацию среды выполнения и создает необходимые ресурсы Kubernetes.

ome можно использовать бесплатно? Какая у него лицензия?

ome распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

ome всё ещё поддерживается?

Активно поддерживается. Последний коммит в ome — 22 окт. 2026 г..

Для чего можно использовать ome?

Сервинг нескольких LLM с открытыми весами, например Llama, Qwen или DeepSeek, в общем Kubernetes-кластере с GPU. Запуск больших моделей на нескольких узлах с разделением prefill и decode. Управление развертываниями LLM и автомасштабированием с помощью KEDA, Kueue или Gateway API. Сравнение производительности моделей при настраиваемых сценариях нагрузки с помощью ресурсов BenchmarkJob.

Как установить ome?

Установите CRD OME с помощью Helm: helm upgrade --install ome-crd oci://ghcr.io/moirai-internal/charts/ome-crd --namespace ome --create-namespace Установите ресурсы OME с помощью Helm: helm upgrade --install ome oci://ghcr.io/moirai-internal/charts/ome-resources --namespace ome

Где скачать ome?

Исходный код и инструкции по установке — на GitHub: https://github.com/ome-projects/ome