kubeai-project/kubeai

Что это?

Ключевые возможности

• 01Развёртывает серверы vLLM, Ollama, FasterWhisper и Infinity в виде Kubernetes Pods.
• 02Масштабирует количество реплик модели от нуля в зависимости от спроса.
• 03Предоставляет совместимые с OpenAI эндпоинты для чата, эмбеддингов, реранкинга и транскрибации.
• 04Балансирует нагрузку с учётом префиксов, повышая эффективность использования KV-кэша vLLM.
• 05Автоматизирует загрузку моделей и монтирование томов, а также управляет адаптерами LoRA.

Сценарии использования

• Размещение моделей LLM с открытыми весами в собственном кластере Kubernetes компании через API в стиле OpenAI.
• Запуск сервисов транскрибации речи в текст, которые масштабируются до нуля при отсутствии нагрузки.
• Обслуживание моделей эмбеддингов и реранкинга для поисковых конвейеров и конвейеров извлечения данных.

Быстрый старт

1. 1

   Создайте локальный кластер Kubernetes

   kind create cluster
2. 2

   Добавьте репозиторий Helm для KubeAI

   helm repo add kubeai https://www.kubeai.org
3. 3

   Установите KubeAI и дождитесь готовности компонентов

   helm install kubeai kubeai/kubeai --wait --timeout 10m
4. 4

   Установите предустановленные модели с помощью файла values (YAML см. в README)

Что важно знать

• !Требуется работающий кластер Kubernetes; это не автономный инструмент.
• !Для локальной настройки kind через Podman машине требуется не менее 6 ГБ памяти.

В подборках

Темы

Частые вопросы

Что такое kubeai?

Оператор Kubernetes для развёртывания и автомасштабирования LLM, моделей эмбеддингов и реранкинга, а также моделей преобразования речи в текст через API, совместимый с OpenAI. KubeAI — оператор инференса AI-моделей для Kubernetes. Он развёртывает и масштабирует модели машинного обучения, такие как LLM, модели эмбеддингов и реранкинга, а также модели преобразования речи в текст. Оператор управляет серверами, например vLLM, Ollama, FasterWhisper и Infinity, как Kubernetes Pods: загружает модели, монтирует тома и динамически подключает адаптеры LoRA через пользовательский ресурс Model.

kubeai можно использовать бесплатно? Какая у него лицензия?

kubeai распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

kubeai всё ещё поддерживается?

Активно поддерживается. Последний коммит в kubeai — 3 нояб. 2026 г..

Для чего можно использовать kubeai?

Размещение моделей LLM с открытыми весами в собственном кластере Kubernetes компании через API в стиле OpenAI. Запуск сервисов транскрибации речи в текст, которые масштабируются до нуля при отсутствии нагрузки. Обслуживание моделей эмбеддингов и реранкинга для поисковых конвейеров и конвейеров извлечения данных.

Как установить kubeai?

Создайте локальный кластер Kubernetes: kind create cluster Добавьте репозиторий Helm для KubeAI: helm repo add kubeai https://www.kubeai.org Установите KubeAI и дождитесь готовности компонентов: helm install kubeai kubeai/kubeai --wait --timeout 10m Установите предустановленные модели с помощью файла values (YAML см. в README)

Где скачать kubeai?

Исходный код и инструкции по установке — на GitHub: https://github.com/kubeai-project/kubeai