一个高吞吐、低显存占用的大语言模型推理与服务引擎,提供兼容 OpenAI 的 API。
- Star
- 2,451
- Fork
- 140
- 未关闭 Issue
- 39
- 最近提交
- 5天前
这是什么?
LUPINE 把客户端机器上的 CUDA 驱动与 NVML 调用转发到持有物理 GPU 的服务端。客户端程序使用自己的 CUDA 运行时和库,只有驱动调用经过网络。服务端以 Docker 运行在 GPU 机器上,客户端容器内提供 libcuda 和 NVML 垫片,因此 nvidia-smi 等命令能显示远程设备。
在一个 LUPINE_SERVER 中可以列出多个服务端,它们的 GPU 在客户端会合并为一个设备序号列表。跨服务器的设备间拷贝会经由客户端中转。服务端在 RPC 端口暴露 Prometheus 指标,并支持位于 TLS 终结代理之后的 HTTPS 地址。连接使用 TCP keepalive 与 Zstd 压缩,收到 SIGTERM 时会等待进行中的 CUDA 调用完成。
项目使用 C++ 编写并通过 CMake 构建,服务端可执行文件内嵌 Linux、macOS 和 Windows 的客户端组件。作者指出,设备数据传输会因经过网络而变慢,但模型训练和推理通常只向主机传输很少的数据。
核心功能
- 01转发 CUDA 驱动与 NVML 调用,使远程 GPU 在本地可见,包括 nvidia-smi。
- 02单个端点列表可接收多台服务器,并将其 GPU 合并为一个设备列表。
- 03通过 /metrics 暴露 GPU 显存、利用率及各客户端进程的指标。
- 04支持位于 TLS 终结代理之后的 HTTPS 端点。
- 05提供按 CUDA 与 Ubuntu 版本组合的 Docker 镜像,服务端同时支持 AMD HIP 运行时。
适用场景
- 在没有 GPU 的开发机或 CI 机器上,调用远程 GPU 服务器进行训练或推理。
- 在网络内让多台客户端机器共享机架中的 GPU。
- 通过 Prometheus 监控远程 GPU 的显存与利用率。
快速上手
- 1
在 GPU 机器上运行服务端
docker run --rm --gpus all -p 14833:14833 ghcr.io/lupinemachines/lupine-server:cuda-13.3.1-ubuntu24.04 - 2
运行客户端并指向该服务端
docker run --rm -it -e LUPINE_SERVER=<server>:14833 ghcr.io/lupinemachines/lupine-client:cuda-13.3.1-ubuntu24.04 nvidia-smi
使用前须知
- 需要 Docker,并且服务端需运行在具备 CUDA 能力的 GPU 机器上。
- 客户端镜像基于 Ubuntu,服务端镜像针对特定 CUDA 版本。
标签
常见问题
- lupine 是什么?
- 一款 GPU over IP 桥接工具,让无 GPU 的机器通过网络使用远程服务器上的 GPU。 LUPINE 把客户端机器上的 CUDA 驱动与 NVML 调用转发到持有物理 GPU 的服务端。客户端程序使用自己的 CUDA 运行时和库,只有驱动调用经过网络。服务端以 Docker 运行在 GPU 机器上,客户端容器内提供 libcuda 和 NVML 垫片,因此 nvidia-smi 等命令能显示远程设备。
- lupine 可以免费使用吗?用的什么许可证?
- lupine 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
- lupine 还在维护吗?
- 活跃维护中。lupine 最近一次提交是在 2026年10月15日。
- lupine 适合用来做什么?
- 在没有 GPU 的开发机或 CI 机器上,调用远程 GPU 服务器进行训练或推理。 在网络内让多台客户端机器共享机架中的 GPU。 通过 Prometheus 监控远程 GPU 的显存与利用率。
- lupine 怎么安装和运行?
- 在 GPU 机器上运行服务端: docker run --rm --gpus all -p 14833:14833 ghcr.io/lupinemachines/lupine-server:cuda-13.3.1-ubuntu24.04 运行客户端并指向该服务端: docker run --rm -it -e LUPINE_SERVER=<server>:14833 ghcr.io/lupinemachines/lupine-client:cuda-13.3.1-ubuntu24.04 nvidia-smi
- 在哪里获取 lupine?
- 源代码和安装说明在 GitHub 上:https://github.com/lupinemachines/lupine
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
FlashAttention 官方实现,一种节省显存的精确注意力计算内核,用于 GPU 上 Transformer 模型的训练与推理。
一个开源的 AI 计算管理系统,用统一接口在 Kubernetes、Slurm 和多家云上运行与扩展 AI 任务。
面向大模型分布式训练与推理的深度学习优化库,提升效率并降低使用门槛。
Python 库,逐层加载大语言模型,让 70B 级模型可在单张 4GB 显卡上推理,无需量化。
SGLang 是一个开源推理框架,用于在多种 GPU、TPU、CPU 等硬件上部署大语言模型、视觉语言模型和扩散模型。