Repolode
lupinemachines

lupinemachines/lupine

一款 GPU over IP 桥接工具,让无 GPU 的机器通过网络使用远程服务器上的 GPU。

可替代:Juice LabsThunder Compute

Star
2,451
Fork
140
未关闭 Issue
39
最近提交
5天前

这是什么?

LUPINE 把客户端机器上的 CUDA 驱动与 NVML 调用转发到持有物理 GPU 的服务端。客户端程序使用自己的 CUDA 运行时和库,只有驱动调用经过网络。服务端以 Docker 运行在 GPU 机器上,客户端容器内提供 libcuda 和 NVML 垫片,因此 nvidia-smi 等命令能显示远程设备。

在一个 LUPINE_SERVER 中可以列出多个服务端,它们的 GPU 在客户端会合并为一个设备序号列表。跨服务器的设备间拷贝会经由客户端中转。服务端在 RPC 端口暴露 Prometheus 指标,并支持位于 TLS 终结代理之后的 HTTPS 地址。连接使用 TCP keepalive 与 Zstd 压缩,收到 SIGTERM 时会等待进行中的 CUDA 调用完成。

项目使用 C++ 编写并通过 CMake 构建,服务端可执行文件内嵌 Linux、macOS 和 Windows 的客户端组件。作者指出,设备数据传输会因经过网络而变慢,但模型训练和推理通常只向主机传输很少的数据。

核心功能

  • 01转发 CUDA 驱动与 NVML 调用,使远程 GPU 在本地可见,包括 nvidia-smi。
  • 02单个端点列表可接收多台服务器,并将其 GPU 合并为一个设备列表。
  • 03通过 /metrics 暴露 GPU 显存、利用率及各客户端进程的指标。
  • 04支持位于 TLS 终结代理之后的 HTTPS 端点。
  • 05提供按 CUDA 与 Ubuntu 版本组合的 Docker 镜像,服务端同时支持 AMD HIP 运行时。

适用场景

  • 在没有 GPU 的开发机或 CI 机器上,调用远程 GPU 服务器进行训练或推理。
  • 在网络内让多台客户端机器共享机架中的 GPU。
  • 通过 Prometheus 监控远程 GPU 的显存与利用率。

快速上手

  1. 1

    在 GPU 机器上运行服务端

    docker run --rm --gpus all -p 14833:14833 ghcr.io/lupinemachines/lupine-server:cuda-13.3.1-ubuntu24.04
  2. 2

    运行客户端并指向该服务端

    docker run --rm -it -e LUPINE_SERVER=<server>:14833 ghcr.io/lupinemachines/lupine-client:cuda-13.3.1-ubuntu24.04 nvidia-smi

使用前须知

  • 需要 Docker,并且服务端需运行在具备 CUDA 能力的 GPU 机器上。
  • 客户端镜像基于 Ubuntu,服务端镜像针对特定 CUDA 版本。

标签

常见问题

lupine 是什么?
一款 GPU over IP 桥接工具,让无 GPU 的机器通过网络使用远程服务器上的 GPU。 LUPINE 把客户端机器上的 CUDA 驱动与 NVML 调用转发到持有物理 GPU 的服务端。客户端程序使用自己的 CUDA 运行时和库,只有驱动调用经过网络。服务端以 Docker 运行在 GPU 机器上,客户端容器内提供 libcuda 和 NVML 垫片,因此 nvidia-smi 等命令能显示远程设备。
lupine 可以免费使用吗?用的什么许可证?
lupine 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
lupine 还在维护吗?
活跃维护中。lupine 最近一次提交是在 2026年10月15日。
lupine 适合用来做什么?
在没有 GPU 的开发机或 CI 机器上,调用远程 GPU 服务器进行训练或推理。 在网络内让多台客户端机器共享机架中的 GPU。 通过 Prometheus 监控远程 GPU 的显存与利用率。
lupine 怎么安装和运行?
在 GPU 机器上运行服务端: docker run --rm --gpus all -p 14833:14833 ghcr.io/lupinemachines/lupine-server:cuda-13.3.1-ubuntu24.04 运行客户端并指向该服务端: docker run --rm -it -e LUPINE_SERVER=<server>:14833 ghcr.io/lupinemachines/lupine-client:cuda-13.3.1-ubuntu24.04 nvidia-smi
在哪里获取 lupine?
源代码和安装说明在 GitHub 上:https://github.com/lupinemachines/lupine

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目