Gerenciador open source de clusters de GPU que implanta modelos de IA com vLLM, SGLang e TensorRT-LLM e oferece instâncias de GPU por SSH sob demanda.
6 mil+55 esta semana724PythonApache-2.0Atualizado há 20 horas
flitai-io/gpuworks
Plataforma leve de gerenciamento de GPUs e Model-as-a-Service que reúne servidores e clouds com aceleradores variados em um único endpoint compatível com OpenAI.
- Estrelas
- 147
- Forks
- 42
- Issues abertas
- 2
- Último commit
- há 3 horas
O que é?
O GPUWorks é uma plataforma de gerenciamento de GPUs e Model-as-a-Service (MaaS) voltada a equipes que executam LLMs e outros modelos em diferentes tipos de hardware. Você reúne servidores bare-metal, instâncias na cloud, VMs ou um Mac em um único cluster, escolhe um modelo, e a plataforma estima a memória de GPU necessária, seleciona GPUs adequadas, inicia um mecanismo de inferência como vLLM ou SGLang e disponibiliza o modelo por um único endpoint compatível com OpenAI.
O plano de controle é um único binário estático em Go, com uma interface web integrada, e mantém o estado em um arquivo SQLite. Os agentes dos nós iniciam conexões via WebSocket, então os nós com GPUs não precisam de portas de entrada abertas. Nós com NVIDIA, AMD, Huawei Ascend, T-Head PPU, Hygon DCU e Apple Silicon podem compartilhar o mesmo scheduler, e um catálogo integrado oferece configurações de inicialização para muitos modelos populares.
Além de servir modelos, o projeto oferece compartilhamento de GPU com cotas de memória, suspensão e retomada para alternar o uso de uma placa, paralelismo entre vários nós, desagregação de prefill e decode, métricas, logs, rastreamento de requisições, benchmarking e um endpoint MCP.
Recursos principais
- 01Implanta modelos em nós com NVIDIA, AMD, Ascend, PPU, Hygon e Apple Silicon em um único cluster.
- 02Estima os requisitos de memória de GPU e explica por que cada GPU foi escolhida ou descartada.
- 03Disponibiliza endpoints de chat, embeddings, rerank, áudio e imagem em uma API /v1 compatível com OpenAI.
- 04Sincroniza instâncias de várias clouds públicas e agenda seu uso junto com servidores locais.
- 05Permite que nós com GPUs iniciem conexões de saída via WebSocket, sem abrir portas de entrada.
- 06Oferece métricas de GPU e dos mecanismos de inferência, logs pesquisáveis, rastreamento de requisições e benchmarking integrado.
Casos de uso
- Executar LLMs de pesos abertos em uma combinação de GPUs alugadas na cloud e servidores locais.
- Oferecer a várias equipes um endpoint interno de modelos compatível com OpenAI, com acompanhamento de uso por chave.
- Hospedar vários modelos pequenos em uma GPU usando cotas de memória.
- Operar inferência em ambientes isolados de redes externas, importando imagens e modelos offline.
Em coleções
Tópicos
#llm-serving#gpu-management#inference#openai-compatible#vllm#kubernetes-alternative#self-hosted#multi-cloud
Perguntas frequentes
- O que é gpuworks?
- Plataforma leve de gerenciamento de GPUs e Model-as-a-Service que reúne servidores e clouds com aceleradores variados em um único endpoint compatível com OpenAI. O GPUWorks é uma plataforma de gerenciamento de GPUs e Model-as-a-Service (MaaS) voltada a equipes que executam LLMs e outros modelos em diferentes tipos de hardware. Você reúne servidores bare-metal, instâncias na cloud, VMs ou um Mac em um único cluster, escolhe um modelo, e a plataforma estima a memória de GPU necessária, seleciona GPUs adequadas, inicia um mecanismo de inferência como vLLM ou SGLang e disponibiliza o modelo por um único endpoint compatível com OpenAI.
- gpuworks é gratuito? Qual é a licença?
- gpuworks é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- gpuworks ainda é mantido?
- Manutenção ativa. O último commit de gpuworks foi em 7 de nov. de 2026.
- Para que posso usar gpuworks?
- Executar LLMs de pesos abertos em uma combinação de GPUs alugadas na cloud e servidores locais. Oferecer a várias equipes um endpoint interno de modelos compatível com OpenAI, com acompanhamento de uso por chave. Hospedar vários modelos pequenos em uma GPU usando cotas de memória. Operar inferência em ambientes isolados de redes externas, importando imagens e modelos offline.
- Onde consigo gpuworks?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/flitai-io/gpuworks
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Executa LLMs de código aberto, como Llama e Qwen, como endpoints de API compatíveis com a OpenAI usando um único comando, com uma interface de chat integrada.
12,6 mil+11 esta semana847PythonApache-2.0Atualizado há 5 dias
Template de worker Serverless do Runpod que implanta endpoints de LLM compatíveis com a OpenAI, usando o mecanismo de inferência vLLM.
474394PythonMITBem mantidoAtualizado anteontem
Biblioteca e servidor rápidos e eficientes em memória para executar e servir modelos de linguagem grandes com uma API compatível com a OpenAI.
96,5 mil+532 esta semana24,5 milPythonApache-2.0Bem mantidoAtualizado há 3 horas
Um mecanismo de inferência MoE nativo de edge que executa modelos grandes de pesos abertos, como DeepSeek-V4 e Qwen3.6, em GPUs e CPUs de consumo.
16,8 mil+1,9 mil esta semana1,7 milPythonApache-2.0Atualizado há 11 horas
Um mecanismo de inferência de LLM de alto desempenho da Alibaba, usado em diversas unidades de negócio da empresa para servir grandes modelos de linguagem.
1,4 mil+7 esta semana299PythonApache-2.0Atualizado há 3 horas