Gestor open source de clústeres de GPU que despliega modelos de IA con vLLM, SGLang y TensorRT-LLM, y ofrece instancias de GPU con acceso SSH bajo demanda.
6 mil+55 esta semana724PythonApache-2.0Actualizado hace 20 horas
flitai-io/gpuworks
Una plataforma ligera de gestión de GPU y Model-as-a-Service que agrupa servidores y nubes con aceleradores variados detrás de un único endpoint compatible con OpenAI.
- Estrellas
- 147
- Forks
- 42
- Issues abiertos
- 2
- Último commit
- hace 3 horas
¿Qué es?
GPUWorks es una plataforma de gestión de GPU y Model-as-a-Service (MaaS) para equipos que ejecutan LLM y otros modelos en una combinación de hardware. Puedes incorporar servidores bare-metal, instancias en la nube, máquinas virtuales o una Mac a un mismo clúster, elegir un modelo y dejar que la plataforma estime la memoria de GPU necesaria, seleccione las GPU adecuadas, inicie un motor de inferencia como vLLM o SGLang y lo exponga mediante un único endpoint compatible con OpenAI.
El plano de control es un binario estático de Go con una interfaz web integrada y guarda su estado en un archivo SQLite. Los agentes de nodo establecen conexiones salientes por WebSocket, así que los nodos con GPU no necesitan puertos de entrada. Los nodos NVIDIA, AMD, Huawei Ascend, T-Head PPU, Hygon DCU y Apple Silicon pueden compartir el mismo planificador, y un catálogo integrado incluye configuraciones de lanzamiento para muchos modelos populares.
Además de servir modelos, el proyecto ofrece compartición de GPU con cuotas de memoria, suspensión y reactivación para turnarse en una misma tarjeta, paralelismo entre varios nodos, separación de prefill y decode, métricas, registros, trazas de solicitudes, benchmarking y un endpoint MCP.
Funciones clave
- 01Implementa modelos en nodos NVIDIA, AMD, Ascend, PPU, Hygon y Apple Silicon dentro de un mismo clúster.
- 02Estima las necesidades de memoria de GPU y explica por qué se eligió o descartó cada GPU.
- 03Ofrece endpoints de chat, embeddings, rerank, audio e imágenes mediante una API /v1 compatible con OpenAI.
- 04Sincroniza instancias de varias nubes públicas y las planifica junto con servidores locales.
- 05Permite que los nodos con GPU se conecten por WebSocket sin abrir puertos de entrada.
- 06Ofrece métricas de GPU y del motor, registros con búsqueda, trazas de solicitudes y una herramienta de benchmarking integrada.
Casos de uso
- Ejecutar LLM de pesos abiertos en una combinación de GPU alquiladas en la nube y servidores locales.
- Ofrecer a varios equipos un endpoint interno de modelos compatible con OpenAI y seguimiento del uso por clave.
- Alojar varios modelos pequeños en una GPU mediante cuotas de memoria.
- Operar inferencias en sitios aislados de la red, con importación sin conexión de imágenes y modelos.
En colecciones
Temas
#llm-serving#gpu-management#inference#openai-compatible#vllm#kubernetes-alternative#self-hosted#multi-cloud
Preguntas frecuentes
- ¿Qué es gpuworks?
- Una plataforma ligera de gestión de GPU y Model-as-a-Service que agrupa servidores y nubes con aceleradores variados detrás de un único endpoint compatible con OpenAI. GPUWorks es una plataforma de gestión de GPU y Model-as-a-Service (MaaS) para equipos que ejecutan LLM y otros modelos en una combinación de hardware. Puedes incorporar servidores bare-metal, instancias en la nube, máquinas virtuales o una Mac a un mismo clúster, elegir un modelo y dejar que la plataforma estime la memoria de GPU necesaria, seleccione las GPU adecuadas, inicie un motor de inferencia como vLLM o SGLang y lo exponga mediante un único endpoint compatible con OpenAI.
- ¿gpuworks es gratuito? ¿Qué licencia tiene?
- gpuworks es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿gpuworks sigue mantenido?
- Mantenimiento activo. El último commit de gpuworks fue el 7 nov 2026.
- ¿Para qué puedo usar gpuworks?
- Ejecutar LLM de pesos abiertos en una combinación de GPU alquiladas en la nube y servidores locales. Ofrecer a varios equipos un endpoint interno de modelos compatible con OpenAI y seguimiento del uso por clave. Alojar varios modelos pequeños en una GPU mediante cuotas de memoria. Operar inferencias en sitios aislados de la red, con importación sin conexión de imágenes y modelos.
- ¿Dónde consigo gpuworks?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/flitai-io/gpuworks
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Ejecuta LLM de código abierto como Llama y Qwen como endpoints de API compatibles con OpenAI con un solo comando e incluye una interfaz de chat integrada.
12,6 mil+11 esta semana847PythonApache-2.0Actualizado hace 5 días
Plantilla de worker Serverless de Runpod que despliega endpoints de LLM compatibles con OpenAI y basados en el motor de inferencia vLLM.
474394PythonMITBien mantenidoActualizado anteayer
Biblioteca y servidor rápidos y eficientes en memoria para ejecutar y servir modelos de lenguaje grandes mediante una API compatible con OpenAI.
96,5 mil+532 esta semana24,5 milPythonApache-2.0Bien mantenidoActualizado hace 3 horas
Un motor de serving nativo para el edge que ejecuta grandes modelos de pesos abiertos, como DeepSeek-V4 y Qwen3.6, en GPU y CPU de consumo.
16,8 mil+1,9 mil esta semana1,7 milPythonApache-2.0Actualizado hace 11 horas
Motor de inferencia de LLM de alto rendimiento de Alibaba, utilizado en varias de sus unidades de negocio para servir modelos de lenguaje grandes.
1,4 mil+7 esta semana299PythonApache-2.0Actualizado hace 3 horas