shanselman/gputaskman

어떤 프로젝트인가요?

핵심 기능

• 01프로세스별 로컬 GPU 메모리, 시스템 RAM 사용량, 엔진 활동을 표시합니다.
• 02매핑된 파일, 실행 인수, GGUF 헤더를 바탕으로 로드된 모델을 식별합니다.
• 03llama.cpp의 가중치 및 KV-cache 크기를 추정하고, 사용 가능한 경우 버퍼 로그를 활용합니다.
• 04Ollama와 LM Studio가 실행 중이면 로컬 API에서 모델 상태를 읽어 옵니다.
• 05실시간 TUI와 단발성 텍스트 및 JSON 출력을 제공합니다.

활용 사례

• Windows 컴퓨터에서 로컬 LLM이나 기타 AI 작업이 GPU 메모리 대부분을 사용하는 이유를 파악합니다.
• 느린 폴백 추론으로 이어질 수 있는 GPU 접근 가능 시스템 RAM 사용을 찾아냅니다.
• llama-server 또는 Ollama 프로세스가 어떤 로컬 모델과 컨텍스트 크기를 사용 중인지 확인합니다.
• 스크립트나 버그 보고서에 사용할 GPU 사용량 스냅샷을 JSON으로 저장합니다.

빠른 시작

1. 1

   Git for Windows와 uv를 설치합니다(예: WinGet 사용)

   winget install --id Git.Git --exact
2. 2

   uv를 설치합니다

   winget install --id astral-sh.uv --exact
3. 3

   저장소를 클론합니다

   git clone https://github.com/shanselman/gputaskman.git
4. 4

   uv를 사용해 프로젝트 폴더에서 TUI를 실행합니다

   cd gputaskman uv run --locked gputaskman

사용 전 알아둘 점

• !Windows와 NVIDIA만 지원합니다. CPU 전용, NPU 전용 및 클라우드 워크로드는 범위에 포함되지 않습니다.
• !최신 Windows WDDM 드라이버가 설치된 NVIDIA GPU가 필요합니다.
• !초기 단계의 실험적인 소프트웨어입니다. 분류 및 GGUF 기반 분석 결과는 추정치입니다.
• !다중 GPU 귀속은 아직 신뢰하기 어렵습니다. 검증된 구성은 NVIDIA GPU 1개를 사용하는 경우입니다.

포함된 컬렉션

토픽

자주 묻는 질문

gputaskman은(는) 무엇인가요?

Windows와 NVIDIA GPU용 터미널 UI로, 프로세스별 GPU 메모리와 엔진 활동, 각 GPU 작업의 LLM 가중치 및 KV-cache를 보여줍니다. gputaskman은 Windows에서 NVIDIA GPU를 모니터링하는 htop 스타일 도구입니다. 작업 관리자는 사용 중인 GPU 메모리의 양은 보여 주지만, 어떤 프로세스가 사용 중인지는 보여 주지 않습니다. 이 도구는 Windows GPU 카운터와 NVML 장치 측정값을 결합해 프로세스별 사용량을 표시하며, 로컬 GPU 메모리, GPU에서 접근 가능한 시스템 RAM, 엔진 활동, CUDA, Vulkan, Direct3D, ggml, ONNX Runtime 등의 감지된 런타임을 보여 줍니다.

gputaskman은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

gputaskman은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

gputaskman은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. gputaskman의 마지막 커밋은 2026년 11월 6일입니다.

gputaskman은(는) 어디에 사용할 수 있나요?

Windows 컴퓨터에서 로컬 LLM이나 기타 AI 작업이 GPU 메모리 대부분을 사용하는 이유를 파악합니다. 느린 폴백 추론으로 이어질 수 있는 GPU 접근 가능 시스템 RAM 사용을 찾아냅니다. llama-server 또는 Ollama 프로세스가 어떤 로컬 모델과 컨텍스트 크기를 사용 중인지 확인합니다. 스크립트나 버그 보고서에 사용할 GPU 사용량 스냅샷을 JSON으로 저장합니다.

gputaskman는 어떻게 설치하나요?

Git for Windows와 uv를 설치합니다(예: WinGet 사용): winget install --id Git.Git --exact uv를 설치합니다: winget install --id astral-sh.uv --exact 저장소를 클론합니다: git clone https://github.com/shanselman/gputaskman.git uv를 사용해 프로젝트 폴더에서 TUI를 실행합니다: cd gputaskman uv run --locked gputaskman

gputaskman은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/shanselman/gputaskman