Herramienta en C++ que distribuye la inferencia de LLM entre varios dispositivos domésticos conectados por Ethernet para acelerar la generación.
3,1 mil258C++MITActualizado hace 11 días
kalavai-net/kalavai-client
Plataforma de código abierto y cliente de Python que reúne capacidad de GPU y CPU disponible en varias máquinas en un único plano de control para ejecutar cargas de trabajo de IA.
- Estrellas
- 223
- Forks
- 8
- Issues abiertos
- 7
- Último commit
- hace 8 días
¿Qué es?
Kalavai agrupa recursos de cómputo de máquinas locales, on-prem y de varias nubes en un único pool capaz de ejecutar grandes cargas de trabajo de IA. Un pool tiene uno o más nodos semilla que actúan como plano de control central, y nodos worker que se conectan a él y ejecutan trabajos, generalmente en máquinas con GPU.
El paquete de Python kalavai-client crea y administra pools, y despliega cargas de trabajo en ellos. Es compatible con CPU ARM64 y AMD64, GPU NVIDIA y AMD, uso compartido fraccionado de GPU y despliegues multinodo y multi-GPU. Los motores de inferencia compatibles de forma nativa incluyen actualmente vLLM, llama.cpp y Ray Clusters; hay plantillas previstas para herramientas como SGLang, n8n, Flowise, Langfuse y OpenWebUI.
El proyecto está en una etapa inicial y podría haber cambios incompatibles antes del lanzamiento de la versión v1.0. Incluye una GUI local que se inicia con un solo comando para administrar un pool.
Funciones clave
- 01Agrupa GPU y CPU de varias máquinas en un único plano de control.
- 02Es compatible con GPU NVIDIA y AMD, además de CPU ARM64 y AMD64.
- 03Permite compartir GPU de forma fraccionada y realizar despliegues multinodo y multi-GPU.
- 04Ofrece plantillas listas para usar con motores de inferencia como vLLM y llama.cpp.
- 05Incluye una CLI y una GUI local para administrar pools.
Casos de uso
- Servir modelos de lenguaje grandes en un conjunto de GPU disponibles repartidas entre varias máquinas.
- Ejecutar inferencia de modelos GGUF basada en CPU con llama.cpp en computadoras convencionales.
- Desplegar trabajos de fine-tuning distribuido con Ray o axolotl.
- Alojar un portal unificado de modelos para los recursos de cómputo locales y en la nube de un equipo.
Inicio rápido
- 1
Instala el compilador gcc y el requisito previo python3-dev
sudo apt install gcc g++ python3-dev - 2
Instala el paquete de Python kalavai-client
pip install kalavai-client - 3
Inicia un pool privado local
kalavai pool start - 4
Inicia la GUI y abre http://localhost:49153
kalavai gui start
Antes de usarlo
- El proyecto está en una fase inicial y pueden producirse cambios incompatibles antes de la versión 1.0.
- Los nodos semilla requieren una máquina Linux con Docker y acceso root.
- Algunos motores de IA y plantillas aparecen como próximamente disponibles o experimentales.
En colecciones
Temas
Preguntas frecuentes
- ¿Qué es kalavai-client?
- Plataforma de código abierto y cliente de Python que reúne capacidad de GPU y CPU disponible en varias máquinas en un único plano de control para ejecutar cargas de trabajo de IA. Kalavai agrupa recursos de cómputo de máquinas locales, on-prem y de varias nubes en un único pool capaz de ejecutar grandes cargas de trabajo de IA. Un pool tiene uno o más nodos semilla que actúan como plano de control central, y nodos worker que se conectan a él y ejecutan trabajos, generalmente en máquinas con GPU.
- ¿kalavai-client es gratuito? ¿Qué licencia tiene?
- kalavai-client es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿kalavai-client sigue mantenido?
- Mantenimiento activo. El último commit de kalavai-client fue el 17 oct 2026.
- ¿Para qué puedo usar kalavai-client?
- Servir modelos de lenguaje grandes en un conjunto de GPU disponibles repartidas entre varias máquinas. Ejecutar inferencia de modelos GGUF basada en CPU con llama.cpp en computadoras convencionales. Desplegar trabajos de fine-tuning distribuido con Ray o axolotl. Alojar un portal unificado de modelos para los recursos de cómputo locales y en la nube de un equipo.
- ¿Cómo se instala kalavai-client?
- Instala el compilador gcc y el requisito previo python3-dev: sudo apt install gcc g++ python3-dev Instala el paquete de Python kalavai-client: pip install kalavai-client Inicia un pool privado local: kalavai pool start Inicia la GUI y abre http://localhost:49153: kalavai gui start
- ¿Dónde consigo kalavai-client?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/kalavai-net/kalavai-client
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Framework de serving de inferencia distribuida a escala de centros de datos que coordina vLLM, SGLang y TensorRT-LLM en varias GPU y nodos.
8,4 mil1,8 milRustOtherActualizado hace 8 horas
Un servicio distribuido gratuito y gestionado por la comunidad que usa las GPU de voluntarios para generar imágenes y texto con IA a partir de solicitudes.
1,6 mil+2 esta semana180PythonAGPL-3.0Actualizado hace 10 horas
Plataforma nativa de Kubernetes para el entrenamiento distribuido de modelos de IA y el ajuste fino de LLM con PyTorch, JAX, XGBoost y otros frameworks.
2,3 mil+1 esta semana1,1 milGoApache-2.0Actualizado ayer
Runtime open source en Go y Python para cargas de trabajo de IA serverless, con endpoints de inferencia en GPU, sandboxes y tareas en segundo plano.
1,8 mil+2 esta semana174GoAGPL-3.0Actualizado hace 9 horas
Plataforma open source de gestión de la nube para ejecutar nubes privadas, sitios edge y cargas de trabajo de IA con VMs y Kubernetes.
1,8 mil538JavaScriptApache-2.0Actualizado hace 11 días