shanselman/gputaskman

这是什么？

核心功能

• 01按进程展示本地显存、系统内存中可被 GPU 访问的部分以及引擎活动。
• 02通过内存映射文件、启动参数和 GGUF 文件头识别已加载的模型。
• 03估算 llama.cpp 的权重与 KV 缓存大小，有缓冲日志时以日志为准。
• 04在 Ollama、LM Studio 本地服务运行时读取模型状态。
• 05提供实时终端界面，以及一次性的文本和 JSON 输出。

适用场景

• 排查 Windows 机器上本地大模型或其他 AI 任务占满显存的原因。
• 发现可能导致推理变慢的系统内存回退占用。
• 查看 llama-server 或 Ollama 进程当前加载的模型与上下文大小。
• 以 JSON 格式采集 GPU 使用快照，用于脚本或问题排查。

快速上手

1. 1

   使用 WinGet 安装 Git for Windows 和 uv

   winget install --id Git.Git --exact
2. 2

   安装 uv

   winget install --id astral-sh.uv --exact
3. 3

   克隆仓库

   git clone https://github.com/shanselman/gputaskman.git
4. 4

   在项目文件夹中用 uv 运行 TUI

   cd gputaskman uv run --locked gputaskman

使用前须知

• !仅支持 Windows 和 NVIDIA；纯 CPU、纯 NPU 及云端工作负载不在范围内。
• !需要 NVIDIA 显卡并安装当前的 Windows WDDM 驱动。
• !项目处于早期实验阶段；模型分类和基于 GGUF 的内存细分均为估算值。
• !多 GPU 系统的归属尚不可靠；经过验证的配置仅为单块 NVIDIA GPU。

收录于专题

标签

常见问题

gputaskman 是什么？

面向 Windows + NVIDIA 的终端监控工具，按进程展示显存、引擎占用及 LLM 权重与 KV 缓存构成。 gputaskman 是一个面向 Windows 与 NVIDIA 显卡的 htop 式监控工具。任务管理器只能显示显存总量，无法说明占用来自哪里。它把 Windows GPU 计数器与 NVML 设备数据结合起来，按进程拆分显存、系统内存中可被 GPU 访问的部分、引擎活动，以及 CUDA、Vulkan、Direct3D、ggml、ONNX Runtime 等运行时。

gputaskman 可以免费使用吗？用的什么许可证？

gputaskman 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

gputaskman 还在维护吗？

活跃维护中。gputaskman 最近一次提交是在 2026年11月6日。

gputaskman 适合用来做什么？

排查 Windows 机器上本地大模型或其他 AI 任务占满显存的原因。 发现可能导致推理变慢的系统内存回退占用。 查看 llama-server 或 Ollama 进程当前加载的模型与上下文大小。 以 JSON 格式采集 GPU 使用快照，用于脚本或问题排查。

gputaskman 怎么安装和运行？

使用 WinGet 安装 Git for Windows 和 uv: winget install --id Git.Git --exact 安装 uv: winget install --id astral-sh.uv --exact 克隆仓库: git clone https://github.com/shanselman/gputaskman.git 在项目文件夹中用 uv 运行 TUI: cd gputaskman uv run --locked gputaskman

在哪里获取 gputaskman？

源代码和安装说明在 GitHub 上：https://github.com/shanselman/gputaskman