Repolode
提交项目
flitai-io

flitai-io/gpuworks

轻量级 GPU 管理与模型即服务平台，统一调度混合加速卡与公有云、私有云资源，并提供 OpenAI 兼容接口。

在 GitHub 查看
Star
147
Fork
42
未关闭 Issue
2
最近提交
3小时前

这是什么？

GPUWorks 是一个面向 GPU 管理和模型即服务（MaaS）的平台，适合在混合硬件上运行大语言模型等各类模型的团队。你可以把物理服务器、云实例、虚拟机或一台 Mac 加入同一个集群，选定模型后，平台会估算所需显存、挑选合适的 GPU、启动 vLLM、SGLang 等推理引擎，并通过统一的 OpenAI 兼容接口对外提供服务。

控制面是一个带内嵌 Web UI 的静态 Go 二进制文件，状态保存在单个 SQLite 文件中。节点上的 agent 通过 WebSocket 主动连接服务端，GPU 节点无需开放入站端口。NVIDIA、AMD、华为昇腾、平头哥 PPU、海光 DCU 和 Apple Silicon 节点可共用同一调度器，内置目录还提供多款热门模型的启动配置。

除推理服务外，项目还支持基于显存配额的 GPU 共享、让多个模型轮流使用同一张卡的休眠/唤醒、多节点并行、Prefill/Decode 分离，以及监控、日志、请求追踪、基准测试和 MCP 接口。

核心功能

  • 01在同一集群中向 NVIDIA、AMD、昇腾、PPU、海光和 Apple Silicon 节点部署模型。
  • 02估算显存需求，并说明调度器选择或排除各 GPU 的原因。
  • 03在 OpenAI 兼容的 /v1 接口下提供对话、向量、重排序、语音和图像服务。
  • 04从多家公有云同步实例，并与自有服务器统一调度。
  • 05GPU 节点通过出站 WebSocket 连接，无需开放入站端口。
  • 06提供 GPU 与引擎指标、可检索日志、请求追踪和内置基准测试。

适用场景

  • 在租用的云 GPU 与自有服务器组成的混合资源上运行开源大模型。
  • 为多个团队提供内部 OpenAI 兼容模型接口，并按 API Key 统计用量。
  • 借助显存配额在一张 GPU 上同时部署多个小模型。
  • 在离线环境中通过导入镜像和模型完成推理服务部署。

收录于专题

自托管应用

标签

#llm-serving#gpu-management#inference#openai-compatible#vllm#kubernetes-alternative#self-hosted#multi-cloud

常见问题

gpuworks 是什么？
轻量级 GPU 管理与模型即服务平台，统一调度混合加速卡与公有云、私有云资源，并提供 OpenAI 兼容接口。 GPUWorks 是一个面向 GPU 管理和模型即服务（MaaS）的平台，适合在混合硬件上运行大语言模型等各类模型的团队。你可以把物理服务器、云实例、虚拟机或一台 Mac 加入同一个集群，选定模型后，平台会估算所需显存、挑选合适的 GPU、启动 vLLM、SGLang 等推理引擎，并通过统一的 OpenAI 兼容接口对外提供服务。
gpuworks 可以免费使用吗？用的什么许可证？
gpuworks 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
gpuworks 还在维护吗？
活跃维护中。gpuworks 最近一次提交是在 2026年11月7日。
gpuworks 适合用来做什么？
在租用的云 GPU 与自有服务器组成的混合资源上运行开源大模型。 为多个团队提供内部 OpenAI 兼容模型接口，并按 API Key 统计用量。 借助显存配额在一张 GPU 上同时部署多个小模型。 在离线环境中通过导入镜像和模型完成推理服务部署。
在哪里获取 gpuworks？
源代码和安装说明在 GitHub 上：https://github.com/flitai-io/gpuworks

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目