Repolode
Enviar
shanselman

shanselman/gputaskman

Una interfaz de terminal para Windows y NVIDIA que muestra la memoria GPU por proceso, la actividad de los motores y los pesos LLM y la KV-cache de cada carga de trabajo en la GPU.

Ver en GitHub
Estrellas
435
Forks
20
Issues abiertos
1
Último commit
hace 12 horas

¿Qué es?

gputaskman es un monitor para GPU NVIDIA en Windows, al estilo de htop. El Administrador de tareas muestra cuánta memoria GPU está en uso, pero no qué la está usando. Esta herramienta combina los contadores de GPU de Windows con lecturas de dispositivos NVML para desglosar el uso por proceso y mostrar la memoria GPU local, la RAM del sistema accesible desde la GPU, la actividad de los motores y los entornos de ejecución detectados, como CUDA, Vulkan, Direct3D, ggml y ONNX Runtime.

Para las cargas de trabajo locales de IA, identifica modelos candidatos a partir de archivos mapeados, argumentos de línea de comandos y cabeceras GGUF; después, estima el tamaño de los pesos y de la KV-cache. Cuando están disponibles los registros de búfer de llama.cpp o las API locales de Ollama y LM Studio, también muestra los tamaños de los búferes asignados y el estado actual del modelo. La identificación indica el nivel de solidez de las pruebas, y el proyecto advierte que una DLL cargada o un archivo mapeado no demuestran por sí solos que estén ubicados en la GPU.

La interfaz es un panel de terminal en tiempo real con gráficos por dispositivo y una tabla de procesos ordenable. También ofrece una salida de texto o JSON para una sola consulta, útil para scripts. En la página de releases se publican versiones portátiles para x64 y ARM64, y el proyecto también puede ejecutarse desde el código fuente con uv o pip.

Funciones clave

  • 01Muestra la memoria GPU local, el uso de RAM del sistema y la actividad de los motores por proceso.
  • 02Identifica los modelos cargados a partir de archivos mapeados, argumentos de lanzamiento y cabeceras GGUF.
  • 03Estima el tamaño de los pesos y de la KV-cache de llama.cpp, y usa los registros de búfer cuando están disponibles.
  • 04Lee el estado de los modelos mediante las API locales de Ollama y LM Studio cuando están en ejecución.
  • 05Ofrece una TUI en tiempo real y también una salida puntual en texto o JSON.

Casos de uso

  • Averiguar por qué un LLM local u otra carga de trabajo de IA está usando la mayor parte de la memoria GPU en un equipo con Windows.
  • Detectar el uso de RAM del sistema accesible desde la GPU, que puede indicar una inferencia alternativa más lenta.
  • Comprobar qué modelo local y tamaño de contexto está usando un proceso de llama-server u Ollama.
  • Capturar instantáneas del uso de GPU en JSON para scripts o informes de errores.

Inicio rápido

  1. 1

    Instala Git for Windows y uv (por ejemplo, con WinGet)

    winget install --id Git.Git --exact
  2. 2

    Instala uv

    winget install --id astral-sh.uv --exact
  3. 3

    Clona el repositorio

    git clone https://github.com/shanselman/gputaskman.git
  4. 4

    Ejecuta la TUI desde la carpeta del proyecto con uv

    cd gputaskman uv run --locked gputaskman

Antes de usarlo

  • Solo es compatible con Windows y NVIDIA; los usos solo con CPU, solo con NPU y en la nube quedan fuera del alcance.
  • Requiere una GPU NVIDIA con un controlador WDDM de Windows actualizado.
  • Es un software experimental en una fase inicial; las clasificaciones y los desgloses basados en GGUF son estimaciones.
  • La atribución con varias GPU aún no es fiable; la configuración validada es la de una sola GPU NVIDIA.

En colecciones

Aplicaciones con interfaz de terminal (TUI)Ejecuta LLM en localPlataformas de OpenTelemetry y observabilidad

Temas

#gpu-monitoring#nvidia#windows#llm#vram#terminal-ui#llama-cpp#observability

Preguntas frecuentes

¿Qué es gputaskman?
Una interfaz de terminal para Windows y NVIDIA que muestra la memoria GPU por proceso, la actividad de los motores y los pesos LLM y la KV-cache de cada carga de trabajo en la GPU. gputaskman es un monitor para GPU NVIDIA en Windows, al estilo de htop. El Administrador de tareas muestra cuánta memoria GPU está en uso, pero no qué la está usando. Esta herramienta combina los contadores de GPU de Windows con lecturas de dispositivos NVML para desglosar el uso por proceso y mostrar la memoria GPU local, la RAM del sistema accesible desde la GPU, la actividad de los motores y los entornos de ejecución detectados, como CUDA, Vulkan, Direct3D, ggml y ONNX Runtime.
¿gputaskman es gratuito? ¿Qué licencia tiene?
gputaskman es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿gputaskman sigue mantenido?
Mantenimiento activo. El último commit de gputaskman fue el 7 nov 2026.
¿Para qué puedo usar gputaskman?
Averiguar por qué un LLM local u otra carga de trabajo de IA está usando la mayor parte de la memoria GPU en un equipo con Windows. Detectar el uso de RAM del sistema accesible desde la GPU, que puede indicar una inferencia alternativa más lenta. Comprobar qué modelo local y tamaño de contexto está usando un proceso de llama-server u Ollama. Capturar instantáneas del uso de GPU en JSON para scripts o informes de errores.
¿Cómo se instala gputaskman?
Instala Git for Windows y uv (por ejemplo, con WinGet): winget install --id Git.Git --exact Instala uv: winget install --id astral-sh.uv --exact Clona el repositorio: git clone https://github.com/shanselman/gputaskman.git Ejecuta la TUI desde la carpeta del proyecto con uv: cd gputaskman uv run --locked gputaskman
¿Dónde consigo gputaskman?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/shanselman/gputaskman

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados