InftyAI/llmaz

Что это?

Ключевые возможности

• 01Развернуть LLM-сервис в Kubernetes, создав ресурсы модели и playground.
• 02Поддерживаются бэкенды vLLM, TGI, SGLang, llama.cpp и TensorRT-LLM.
• 03Автоматически загружает модели из Hugging Face, ModelScope и объектных хранилищ.
• 04Распределённый инференс на нескольких хостах с помощью LWS.
• 05Автомасштабирование с помощью HPA на основе метрик LLM и автомасштабирование узлов через Karpenter.
• 06Ограничение частоты запросов на основе токенов и маршрутизация моделей через Envoy AI Gateway.

Сценарии использования

• Размещение LLM с открытыми весами в существующем кластере Kubernetes с GPU.
• Обслуживание одной модели на сочетании разнородных ускорителей для баланса стоимости и производительности.
• Запуск больших моделей, которым нужен распределённый инференс на нескольких хостах.
• Предоставление совместимой с OpenAI точки доступа для completions с интерфейсом чата для внутренних команд.

Быстрый старт

1. 1

   Прочитайте руководство по установке и установите llmaz в свой кластер Kubernetes

2. 2

   Создайте Secret с токеном Hugging Face, если он нужен вашей модели

   kubectl create secret generic modelhub-secret --from-literal=HF_TOKEN=<your token>
3. 3

   Примените ресурсы OpenModel и Playground, чтобы развернуть facebook/opt-125m

4. 4

   Настройте проброс порта сервиса на localhost

   kubectl port-forward svc/opt-125m-lb 8080:8080

Что важно знать

• !Проект находится на стадии альфа-версии, поэтому API может измениться до выхода бета-версии.
• !Для развертывания нужен существующий кластер Kubernetes, что добавляет работы по самостоятельному хостингу.
• !Для запуска на GPU или CPU требуется дополнительная настройка, например, как в примере с llama.cpp для CPU.

В подборках

Темы

Частые вопросы

Что такое llmaz?

Нативная для Kubernetes платформа инференса для развёртывания и обслуживания больших языковых моделей с подключаемыми бэкендами, такими как vLLM, SGLang и llama.cpp. llmaz — платформа инференса для запуска больших языковых моделей в Kubernetes. Пользователи описывают модель и playground как ресурсы Kubernetes, а платформа берёт на себя загрузку модели и настройку доступа к сервису. Поэтому рабочую LLM-точку доступа можно создать с минимальной конфигурацией.

llmaz можно использовать бесплатно? Какая у него лицензия?

llmaz распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

llmaz всё ещё поддерживается?

Обновлялся за последние 6 месяцев. Последний коммит в llmaz — 27 авг. 2026 г..

Для чего можно использовать llmaz?

Размещение LLM с открытыми весами в существующем кластере Kubernetes с GPU. Обслуживание одной модели на сочетании разнородных ускорителей для баланса стоимости и производительности. Запуск больших моделей, которым нужен распределённый инференс на нескольких хостах. Предоставление совместимой с OpenAI точки доступа для completions с интерфейсом чата для внутренних команд.

Как установить llmaz?

Прочитайте руководство по установке и установите llmaz в свой кластер Kubernetes Создайте Secret с токеном Hugging Face, если он нужен вашей модели: kubectl create secret generic modelhub-secret --from-literal=HF_TOKEN=<your token> Примените ресурсы OpenModel и Playground, чтобы развернуть facebook/opt-125m Настройте проброс порта сервиса на localhost: kubectl port-forward svc/opt-125m-lb 8080:8080

Где скачать llmaz?

Исходный код и инструкции по установке — на GitHub: https://github.com/InftyAI/llmaz