defilantech/LLMKube

Что это?

Ключевые возможности

• 01CRD Kubernetes (Model, InferenceService) для декларативного развёртывания LLM
• 02В кластере доступны среды выполнения llama.cpp, vLLM и TGI, а на Apple Silicon — нативные llama-server, mlx-server и vllm-swift
• 03Поддержка NVIDIA CUDA, AMD через Vulkan, GPU Intel и Apple Metal в одном парке машин
• 04Совместимый с OpenAI эндпоинт /v1/chat/completions с потоковой передачей данных
• 05ModelRouter для маршрутизации между локальными и облачными моделями на основе политик с правилами fail-closed
• 06В комплект входят метрики Prometheus, трассировка OpenTelemetry и дашборды Grafana

Сценарии использования

• Запуск инференса LLM локально или в изолированных от внешней сети средах под управлением Kubernetes
• Объединение хостов Mac Studio и серверов NVIDIA в единый управляемый кластер для инференса
• Маршрутизация регулируемых данных к локальным моделям, а остальных запросов — к облачным провайдерам
• Домашние лаборатории, которым нужен инференс моделей на нескольких GPU или оборудовании разных типов

Быстрый старт

1. 1

   Установите CLI с помощью Homebrew

   brew install defilantech/tap/llmkube
2. 2

   Установите operator в кластер Kubernetes с помощью Helm

   helm repo add llmkube https://defilantech.github.io/LLMKube
3. 3

   Разверните модель с помощью CLI

   llmkube deploy phi-4-mini
4. 4

   Настройте проброс порта сервиса и отправьте запрос к совместимой с OpenAI конечной точке

   kubectl port-forward svc/phi-4-mini 8080:8080 &

Что важно знать

• !Требуется кластер Kubernetes, поэтому для запуска одной модели на одном компьютере это избыточное решение.
• !Для поддержки Apple Silicon необходимо отдельно запустить metal-agent на Mac.

В подборках

Темы

Частые вопросы

Что такое LLMKube?

Kubernetes-оператор для запуска собственных LLM на оборудовании NVIDIA, AMD и Apple Silicon с единым набором CRD и совместимыми с OpenAI эндпоинтами. LLMKube — Kubernetes-оператор для развёртывания и управления инференсом собственных LLM. Вы описываете Model и InferenceService в YAML, а оператор отвечает за скачивание и кэширование моделей, планирование GPU, проверки работоспособности, масштабирование и предоставление API, совместимого с OpenAI. В кластере поддерживаются среды выполнения llama.cpp, vLLM и TGI.

LLMKube можно использовать бесплатно? Какая у него лицензия?

LLMKube распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

LLMKube всё ещё поддерживается?

Активно поддерживается. Последний коммит в LLMKube — 6 нояб. 2026 г..

Для чего можно использовать LLMKube?

Запуск инференса LLM локально или в изолированных от внешней сети средах под управлением Kubernetes Объединение хостов Mac Studio и серверов NVIDIA в единый управляемый кластер для инференса Маршрутизация регулируемых данных к локальным моделям, а остальных запросов — к облачным провайдерам Домашние лаборатории, которым нужен инференс моделей на нескольких GPU или оборудовании разных типов

Как установить LLMKube?

Установите CLI с помощью Homebrew: brew install defilantech/tap/llmkube Установите operator в кластер Kubernetes с помощью Helm: helm repo add llmkube https://defilantech.github.io/LLMKube Разверните модель с помощью CLI: llmkube deploy phi-4-mini Настройте проброс порта сервиса и отправьте запрос к совместимой с OpenAI конечной точке: kubectl port-forward svc/phi-4-mini 8080:8080 &

Где скачать LLMKube?

Исходный код и инструкции по установке — на GitHub: https://github.com/defilantech/LLMKube