Repolode
Enviar
shanselman

shanselman/gputaskman

Uma interface de terminal para Windows e NVIDIA que mostra o uso de memória da GPU por processo, a atividade das engines e os pesos do LLM e o KV-cache em cada workload da GPU.

Ver no GitHub
Estrelas
435
Forks
20
Issues abertas
1
Último commit
há 13 horas

O que é?

gputaskman é um monitor no estilo do htop para GPUs NVIDIA no Windows. O Gerenciador de Tarefas mostra quanta memória da GPU está em uso, mas não o que está usando essa memória. Esta ferramenta combina contadores de GPU do Windows com leituras de dispositivos via NVML para detalhar o uso por processo, mostrando a memória local da GPU, a RAM do sistema acessível pela GPU, a atividade das engines e runtimes detectados, como CUDA, Vulkan, Direct3D, ggml e ONNX Runtime.

Para workloads locais de IA, identifica modelos candidatos a partir de arquivos mapeados, argumentos de linha de comando e cabeçalhos GGUF e, em seguida, estima o tamanho dos pesos e do KV-cache. Quando há logs de buffers do llama.cpp ou APIs locais do Ollama e do LM Studio disponíveis, também mostra os tamanhos dos buffers alocados e o estado atual do modelo. A identificação indica o nível de evidência, e o projeto ressalta que uma DLL carregada ou um arquivo mapeado, por si só, não comprova que estejam na GPU.

A interface é um painel de terminal em tempo real, com gráficos dos dispositivos e uma tabela de processos que pode ser ordenada, além de saída pontual em texto e JSON para scripts. Há versões portáteis para x64 e ARM64 na página de releases, e também é possível executar o projeto a partir do código-fonte com uv ou pip.

Recursos principais

  • 01Mostra a memória local da GPU por processo, o uso da RAM do sistema e a atividade das engines.
  • 02Identifica modelos carregados a partir de arquivos mapeados, argumentos de inicialização e cabeçalhos GGUF.
  • 03Estima o tamanho dos pesos e do KV-cache do llama.cpp, usando logs de buffers quando disponíveis.
  • 04Lê o estado dos modelos pelas APIs locais do Ollama e do LM Studio quando estão em execução.
  • 05Oferece uma TUI em tempo real, além de saída pontual em texto e JSON.

Casos de uso

  • Descobrir por que um LLM local ou outro workload de IA está usando a maior parte da memória da GPU em uma máquina Windows.
  • Identificar o uso de RAM do sistema acessível pela GPU, que pode indicar inferência mais lenta como alternativa.
  • Verificar qual modelo local e tamanho de contexto um processo do llama-server ou do Ollama está mantendo carregado.
  • Capturar snapshots do uso da GPU em JSON para scripts ou relatórios de bugs.

Início rápido

  1. 1

    Instale o Git for Windows e o uv (por exemplo, com o WinGet)

    winget install --id Git.Git --exact
  2. 2

    Instale o uv

    winget install --id astral-sh.uv --exact
  3. 3

    Clone o repositório

    git clone https://github.com/shanselman/gputaskman.git
  4. 4

    Execute a TUI na pasta do projeto com o uv

    cd gputaskman uv run --locked gputaskman

Antes de usar

  • Compatível apenas com Windows e NVIDIA; cargas de trabalho somente com CPU, somente com NPU e na nuvem estão fora do escopo.
  • Requer uma GPU NVIDIA com um driver WDDM atual do Windows.
  • Software experimental em estágio inicial; as classificações e análises baseadas em GGUF são estimativas.
  • A atribuição em configurações com várias GPUs ainda não é confiável; a configuração validada usa uma única GPU NVIDIA.

Em coleções

Aplicativos com interface de terminal (TUI)Rode LLMs localmentePlataformas de OpenTelemetry e observabilidade

Tópicos

#gpu-monitoring#nvidia#windows#llm#vram#terminal-ui#llama-cpp#observability

Perguntas frequentes

O que é gputaskman?
Uma interface de terminal para Windows e NVIDIA que mostra o uso de memória da GPU por processo, a atividade das engines e os pesos do LLM e o KV-cache em cada workload da GPU. gputaskman é um monitor no estilo do htop para GPUs NVIDIA no Windows. O Gerenciador de Tarefas mostra quanta memória da GPU está em uso, mas não o que está usando essa memória. Esta ferramenta combina contadores de GPU do Windows com leituras de dispositivos via NVML para detalhar o uso por processo, mostrando a memória local da GPU, a RAM do sistema acessível pela GPU, a atividade das engines e runtimes detectados, como CUDA, Vulkan, Direct3D, ggml e ONNX Runtime.
gputaskman é gratuito? Qual é a licença?
gputaskman é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
gputaskman ainda é mantido?
Manutenção ativa. O último commit de gputaskman foi em 7 de nov. de 2026.
Para que posso usar gputaskman?
Descobrir por que um LLM local ou outro workload de IA está usando a maior parte da memória da GPU em uma máquina Windows. Identificar o uso de RAM do sistema acessível pela GPU, que pode indicar inferência mais lenta como alternativa. Verificar qual modelo local e tamanho de contexto um processo do llama-server ou do Ollama está mantendo carregado. Capturar snapshots do uso da GPU em JSON para scripts ou relatórios de bugs.
Como instalar gputaskman?
Instale o Git for Windows e o uv (por exemplo, com o WinGet): winget install --id Git.Git --exact Instale o uv: winget install --id astral-sh.uv --exact Clone o repositório: git clone https://github.com/shanselman/gputaskman.git Execute a TUI na pasta do projeto com o uv: cd gputaskman uv run --locked gputaskman
Onde consigo gputaskman?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/shanselman/gputaskman

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados