kalavai-net/kalavai-client

Что это?

Ключевые возможности

• 01Объединяет GPU и CPU нескольких машин в единую плоскость управления.
• 02Поддерживает GPU NVIDIA и AMD, а также процессоры ARM64 и AMD64.
• 03Позволяет совместно использовать часть ресурсов GPU и развёртывать задачи на нескольких узлах и GPU.
• 04Предоставляет готовые шаблоны для движков инференса, например vLLM и llama.cpp.
• 05Включает CLI и локальный GUI для управления пулами.

Сценарии использования

• Запуск крупных языковых моделей на свободных GPU нескольких машин.
• Инференс CPU-моделей GGUF с помощью llama.cpp на обычных компьютерах.
• Распределённая донастройка моделей с использованием Ray или axolotl.
• Развёртывание единого портала моделей для локальных и облачных вычислительных ресурсов команды.

Быстрый старт

1. 1

   Установите компилятор gcc и необходимый пакет python3-dev

   sudo apt install gcc g++ python3-dev
2. 2

   Установите пакет Python kalavai-client

   pip install kalavai-client
3. 3

   Запустите локальный приватный пул

   kalavai pool start
4. 4

   Запустите GUI и откройте http://localhost:49153

   kalavai gui start

Что важно знать

• !Проект находится на ранней стадии, поэтому до версии 1.0 возможны несовместимые изменения.
• !Для seed-узлов требуется Linux-машина с Docker и root-доступом.
• !Некоторые движки ИИ и шаблоны отмечены как готовящиеся к выпуску или экспериментальные.

В подборках

Темы

Частые вопросы

Что такое kalavai-client?

Открытая платформа и Python-клиент, объединяющие свободные ресурсы GPU и CPU нескольких машин в единую плоскость управления для запуска задач ИИ. Kalavai объединяет вычислительные ресурсы локальных, собственных и облачных машин в единый пул для запуска крупных задач ИИ. В пуле есть один или несколько узлов seed, которые выполняют роль центральной плоскости управления, и рабочие узлы, подключающиеся к ней и выполняющие задачи — обычно на машинах с GPU.

kalavai-client можно использовать бесплатно? Какая у него лицензия?

kalavai-client распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

kalavai-client всё ещё поддерживается?

Активно поддерживается. Последний коммит в kalavai-client — 17 окт. 2026 г..

Для чего можно использовать kalavai-client?

Запуск крупных языковых моделей на свободных GPU нескольких машин. Инференс CPU-моделей GGUF с помощью llama.cpp на обычных компьютерах. Распределённая донастройка моделей с использованием Ray или axolotl. Развёртывание единого портала моделей для локальных и облачных вычислительных ресурсов команды.

Как установить kalavai-client?

Установите компилятор gcc и необходимый пакет python3-dev: sudo apt install gcc g++ python3-dev Установите пакет Python kalavai-client: pip install kalavai-client Запустите локальный приватный пул: kalavai pool start Запустите GUI и откройте http://localhost:49153: kalavai gui start

Где скачать kalavai-client?

Исходный код и инструкции по установке — на GitHub: https://github.com/kalavai-net/kalavai-client