Repolode
提交项目
leptonai

leptonai/gpud

一个用 Go 编写的守护进程，持续监控 NVIDIA GPU 与 GPU 互连结构，检测硬件错误并报告节点健康状态。

在 GitHub 查看官网
Star
498
Fork
66
未关闭 Issue
4
最近提交
前天

这是什么？

GPUd 是一个独立的二进制程序，用于在 Linux 机器上监控 GPU，并把健康状态、指标和故障信息集中展示。它采集功耗和温度数据，解析 nvidia-smi 输出以获取 GPU 与 fabric 状态，并通过内核日志、硬件降频事件、NVML Xid 事件和 DCGM 检测错误。

除 GPU 外，它还监控 CPU、内存和磁盘等系统指标。监控任务与 AI/ML 工作负载的关键路径分离运行，CPU 和内存开销较小。

GPUd 可以以 systemd 服务方式在主机上运行，也可以前台运行，或通过官方 Helm chart 部署到 Kubernetes。它也用于 NVIDIA DGX Cloud Lepton 的生产基础设施，支持将机器注册到该平台。

核心功能

  • 01采集 GPU 功耗、温度及 GPU fabric 指标。
  • 02通过解析 nvidia-smi 输出报告 GPU 与 fabric 状态。
  • 03从内核日志、NVML Xid 事件、硬件降频和 DCGM 中检测 GPU 错误。
  • 04监控主机的 CPU、内存和磁盘使用情况。
  • 05以单一二进制发布，支持 systemd、前台运行和 Kubernetes Helm 部署。

适用场景

  • 在 Linux GPU 服务器集群中监控健康状态并发现故障 GPU。
  • 通过 Helm chart 在 Kubernetes 集群中运行 GPU 健康检查。
  • 排查 AI 训练节点上的 Xid 故障或硬件降频等 GPU 错误。
  • 将 GPU 机器接入 NVIDIA DGX Cloud Lepton。

快速上手

  1. 1

    运行 README 中的官方安装脚本（支持 Linux amd64 或 arm64）

  2. 2

    使用 systemd 启动 GPUd 服务

    sudo gpud up

使用前须知

  • 仅面向配备 NVIDIA GPU 的 Linux 主机，不支持 macOS 或 Windows。
  • 命令需要 root 权限（sudo）。
  • 主机安装默认开启自动更新。

收录于专题

GPU 加速的 AI 训练与推理工具OpenTelemetry 与可观测性平台

标签

#gpu#nvidia#monitoring#kubernetes#diagnostics#observability#linux#nvidia-gpu

常见问题

gpud 是什么？
一个用 Go 编写的守护进程，持续监控 NVIDIA GPU 与 GPU 互连结构，检测硬件错误并报告节点健康状态。 GPUd 是一个独立的二进制程序，用于在 Linux 机器上监控 GPU，并把健康状态、指标和故障信息集中展示。它采集功耗和温度数据，解析 nvidia-smi 输出以获取 GPU 与 fabric 状态，并通过内核日志、硬件降频事件、NVML Xid 事件和 DCGM 检测错误。
gpud 可以免费使用吗？用的什么许可证？
gpud 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
gpud 还在维护吗？
活跃维护中。gpud 最近一次提交是在 2026年11月5日。
gpud 适合用来做什么？
在 Linux GPU 服务器集群中监控健康状态并发现故障 GPU。 通过 Helm chart 在 Kubernetes 集群中运行 GPU 健康检查。 排查 AI 训练节点上的 Xid 故障或硬件降频等 GPU 错误。 将 GPU 机器接入 NVIDIA DGX Cloud Lepton。
gpud 怎么安装和运行？
运行 README 中的官方安装脚本（支持 Linux amd64 或 arm64） 使用 systemd 启动 GPUd 服务: sudo gpud up
在哪里获取 gpud？
源代码和安装说明在 GitHub 上：https://github.com/leptonai/gpud

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目