gpustack/gguf-parser-go

어떤 프로젝트인가요?

핵심 기능

• 01전체 파일을 다운로드하지 않고 원격 URL이나 Hugging Face 및 ModelScope 저장소에서 GGUF 메타데이터를 파싱합니다.
• 02컨텍스트 크기, 배치 크기, 레이어 오프로드 설정에 따라 RAM 및 VRAM 사용량을 추정합니다.
• 03제공된 장치 측정값을 바탕으로 초당 최대 토큰 수를 추정합니다.
• 04임베딩, 리랭킹, 디시전, LoRA 모델 파일을 구분합니다.
• 05추정 시 여러 GPU에 텐서를 분할하는 방식과 RPC 원격 장치를 지원합니다.

활용 사례

• 양자화 모델을 다운로드하기 전에 사용 가능한 GPU 메모리에 들어가는지 확인합니다.
• llama.cpp 기반 추론을 실행할 때 GPU로 오프로드할 레이어 수를 계획합니다.
• 모델 변형 및 양자화 수준별 메모리와 처리량 추정치를 비교합니다.

빠른 시작

1. 1

   릴리스 페이지에서 바이너리 다운로드

2. 2

   로컬 GGUF 파일 파싱

   gguf-parser --path ~/.cache/lm-studio/models/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF/DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf

사용 전 알아둘 점

• !초당 최대 토큰 수 추정치는 실험적인 기능입니다.
• !일부 모델 파일은 general.file_type 명명 규칙을 따르지 않아 양자화 라벨이 정확하지 않을 수 있습니다.

포함된 컬렉션

토픽

자주 묻는 질문

gguf-parser-go은(는) 무엇인가요?

다운로드 전에 원격 GGUF 모델 파일을 읽어 RAM/VRAM 사용량과 초당 최대 토큰 수를 추정하는 Go 도구입니다. GGUF Parser는 GGUF 모델 파일을 검사해 메타데이터, 아키텍처, 토크나이저 정보와 예상 메모리 요구량을 보여줍니다. 필요한 청크만 읽으므로 파일 전체를 다운로드하지 않고도 Hugging Face, ModelScope 또는 Ollama에 호스팅된 모델을 분석할 수 있습니다.

gguf-parser-go은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

gguf-parser-go은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

gguf-parser-go은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. gguf-parser-go의 마지막 커밋은 2026년 10월 30일입니다.

gguf-parser-go은(는) 어디에 사용할 수 있나요?

양자화 모델을 다운로드하기 전에 사용 가능한 GPU 메모리에 들어가는지 확인합니다. llama.cpp 기반 추론을 실행할 때 GPU로 오프로드할 레이어 수를 계획합니다. 모델 변형 및 양자화 수준별 메모리와 처리량 추정치를 비교합니다.

gguf-parser-go는 어떻게 설치하나요?

릴리스 페이지에서 바이너리 다운로드 로컬 GGUF 파일 파싱: gguf-parser --path ~/.cache/lm-studio/models/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF/DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf

gguf-parser-go은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/gpustack/gguf-parser-go