kalavai-net/kalavai-client

O que é?

Recursos principais

• 01Reúne GPUs e CPUs de várias máquinas em um único plano de controle.
• 02Oferece suporte a GPUs NVIDIA e AMD, além de CPUs ARM64 e AMD64.
• 03Permite o compartilhamento fracionado de GPU e implantações multinó e multi-GPU.
• 04Disponibiliza templates prontos para mecanismos de inferência como vLLM e llama.cpp.
• 05Inclui uma CLI e uma GUI local para gerenciar pools.

Casos de uso

• Servir modelos de linguagem grandes em GPUs ociosas distribuídas por várias máquinas.
• Executar inferência de modelos GGUF baseada em CPU com llama.cpp em computadores comuns.
• Implantar tarefas distribuídas de fine-tuning com Ray ou axolotl.
• Hospedar um portal unificado de modelos para os recursos computacionais locais e na nuvem de uma equipe.

Início rápido

1. 1

   Instale o compilador gcc e o pré-requisito python3-dev

   sudo apt install gcc g++ python3-dev
2. 2

   Instale o pacote Python kalavai-client

   pip install kalavai-client
3. 3

   Inicie um pool privado local

   kalavai pool start
4. 4

   Inicie a GUI e abra http://localhost:49153

   kalavai gui start

Antes de usar

• !O projeto está em estágio inicial, e podem ocorrer alterações incompatíveis antes da versão 1.0.
• !Os nós seed exigem uma máquina Linux com Docker e acesso root.
• !Alguns mecanismos de IA e modelos estão listados como em breve ou experimentais.

Em coleções

Tópicos

Perguntas frequentes

O que é kalavai-client?

Plataforma open source e cliente Python que reúne a capacidade ociosa de GPUs e CPUs de várias máquinas em um único plano de controle para executar workloads de IA. Kalavai agrega recursos computacionais de máquinas locais, on-premises e em várias nuvens em um único pool, capaz de executar workloads de IA de grande porte. Um pool tem um ou mais nós seed, que atuam como plano de controle central, e nós worker, que se conectam a ele e executam tarefas, geralmente em máquinas com GPU.

kalavai-client é gratuito? Qual é a licença?

kalavai-client é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.

kalavai-client ainda é mantido?

Manutenção ativa. O último commit de kalavai-client foi em 17 de out. de 2026.

Para que posso usar kalavai-client?

Servir modelos de linguagem grandes em GPUs ociosas distribuídas por várias máquinas. Executar inferência de modelos GGUF baseada em CPU com llama.cpp em computadores comuns. Implantar tarefas distribuídas de fine-tuning com Ray ou axolotl. Hospedar um portal unificado de modelos para os recursos computacionais locais e na nuvem de uma equipe.

Como instalar kalavai-client?

Instale o compilador gcc e o pré-requisito python3-dev: sudo apt install gcc g++ python3-dev Instale o pacote Python kalavai-client: pip install kalavai-client Inicie um pool privado local: kalavai pool start Inicie a GUI e abra http://localhost:49153: kalavai gui start

Onde consigo kalavai-client?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/kalavai-net/kalavai-client