Repolode
Предложить
kaito-project

kaito-project/kaito

Набор операторов Kubernetes для автоматизации запуска инференса LLM, дообучения моделей и RAG-сервисов на GPU-узлах.

Открыть на GitHubСайт
Звёзды
1,037
Форки
195
Открытые issues
73
Последний коммит
вчера

Что это?

KAITO — набор операторов для Kubernetes, который автоматизирует запуск инференса больших языковых моделей, их дообучение и работу движков Retrieval Augmented Generation (RAG) в кластере. Пользователь указывает тип GPU-инстанса и ID модели HuggingFace в ресурсе Workspace, после чего контроллер оценивает необходимый объём видеопамяти, рассчитывает число GPU и запускает подготовку узлов через API Karpenter NodePool.

Контроллер также формирует настройки движка инференса для работы на одном или нескольких узлах с учётом топологии GPU, избавляя пользователей от необходимости вручную подбирать параметры параллелизма и максимальную длину модели. Сейчас поддерживается только движок vLLM, включая адаптеры LoRA и выгрузку KV-кэша. InferenceSet масштабирует реплики на основе метрик vLLM через KEDA, а InferencePool интегрируется с Gateway API Inference Extension и поддерживает маршрутизацию с учётом KV-кэша.

Отдельный ресурс RAGEngine совместно разворачивает endpoint LLM, сервис эмбеддингов и векторную базу данных (по умолчанию FAISS, также доступны Qdrant и Milvus). Входящий в комплект RAGService на базе LlamaIndex поддерживает индексацию документов и гибридный поиск BM25 и по векторам.

Ключевые возможности

  • 01CRD Workspace оценивает объём видеопамяти и число GPU по ID модели HuggingFace и типу инстанса.
  • 02Автоматическая подготовка GPU-узлов через API Karpenter NodePool.
  • 03Предустановленные параметры инференса vLLM для работы на одном или нескольких узлах.
  • 04Автомасштабирование реплик инференса на основе метрик vLLM через KEDA.
  • 05RAGEngine с векторными хранилищами FAISS, Qdrant или Milvus и гибридным поиском BM25 и по векторам.

Сценарии использования

  • Запуск open-weight LLM с HuggingFace в кластере Kubernetes с GPU-узлами.
  • Развёртывание RAG-сервиса с индексацией документов и chat endpoint в стиле OpenAI.
  • Автомасштабирование реплик инференса LLM в зависимости от нагрузки запросов.
  • Запуск распределённого инференса на нескольких узлах для моделей, которым не хватает ресурсов одного GPU-узла.

В подборках

Запуск LLM локальноОбучение и запуск ИИ на GPU

Темы

#kubernetes#llm-inference#gpu#operator#rag#vllm#autoscaling#ai

Частые вопросы

Что такое kaito?
Набор операторов Kubernetes для автоматизации запуска инференса LLM, дообучения моделей и RAG-сервисов на GPU-узлах. KAITO — набор операторов для Kubernetes, который автоматизирует запуск инференса больших языковых моделей, их дообучение и работу движков Retrieval Augmented Generation (RAG) в кластере. Пользователь указывает тип GPU-инстанса и ID модели HuggingFace в ресурсе Workspace, после чего контроллер оценивает необходимый объём видеопамяти, рассчитывает число GPU и запускает подготовку узлов через API Karpenter NodePool.
kaito можно использовать бесплатно? Какая у него лицензия?
kaito распространяется с открытым исходным кодом под лицензией Other. Перед использованием в коммерческих продуктах проверьте условия лицензии.
kaito всё ещё поддерживается?
Активно поддерживается. Последний коммит в kaito — 6 нояб. 2026 г..
Для чего можно использовать kaito?
Запуск open-weight LLM с HuggingFace в кластере Kubernetes с GPU-узлами. Развёртывание RAG-сервиса с индексацией документов и chat endpoint в стиле OpenAI. Автомасштабирование реплик инференса LLM в зависимости от нагрузки запросов. Запуск распределённого инференса на нескольких узлах для моделей, которым не хватает ресурсов одного GPU-узла.
Где скачать kaito?
Исходный код и инструкции по установке — на GitHub: https://github.com/kaito-project/kaito

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

kubeai-project / kubeai

Оператор Kubernetes для развёртывания и автомасштабирования LLM, моделей эмбеддингов и реранкинга, а также моделей преобразования речи в текст через API, совместимый с OpenAI.

ИИ и машинное обучение#kubernetes#llm#inference
1,3 тыс.144GoApache-2.0Активно поддерживаетсяОбновлён 4 дня назад