Repolode
Enviar
gpustack

gpustack/gguf-parser-go

Ferramenta em Go que lê arquivos de modelos GGUF remotamente e estima o uso de RAM/VRAM e o máximo de tokens por segundo antes do download.

Ver no GitHubSite
Estrelas
310
Forks
31
Issues abertas
0
Último commit
há 7 dias

O que é?

O GGUF Parser inspeciona arquivos de modelos GGUF e informa seus metadados, arquitetura, detalhes do tokenizer e requisitos estimados de memória. Ele lê apenas os trechos necessários, então consegue analisar um modelo hospedado no Hugging Face, ModelScope ou Ollama sem baixar o arquivo inteiro.

O estimador calcula o uso de RAM e VRAM para um tamanho de contexto, tamanho de batch, configuração de flash attention e número de camadas descarregadas especificados, incluindo configurações com divisão entre GPUs e RPC. Com métricas dos dispositivos fornecidas, também consegue estimar o máximo de tokens por segundo de um modelo de linguagem sem executá-lo. A ferramenta também classifica arquivos como modelos de embedding, reranking, decisão ou LoRA e oferece suporte a arquiteturas com sliding window, MLA e projetor de áudio.

O projeto é escrito em Go e distribuído como binário CLI e imagem Docker.

Recursos principais

  • 01Analisa metadados GGUF em URLs remotas ou repositórios do Hugging Face e ModelScope sem baixar os arquivos inteiros.
  • 02Estima o uso de RAM e VRAM com configurações ajustáveis de tamanho de contexto, tamanho de batch e descarregamento de camadas.
  • 03Estima o máximo de tokens por segundo com base nas métricas dos dispositivos fornecidas.
  • 04Identifica arquivos de modelos de embedding, reranking, decisão e LoRA.
  • 05Oferece suporte à divisão de tensores entre várias GPUs e a dispositivos remotos via RPC nos cálculos.

Casos de uso

  • Verificar se um modelo quantizado cabe na memória disponível da GPU antes de baixá-lo.
  • Planejar quantas camadas descarregar para a GPU ao executar inferência baseada em llama.cpp.
  • Comparar estimativas de memória e throughput entre variantes de modelos e níveis de quantização.

Início rápido

  1. 1

    Baixe o binário na página de versões

  2. 2

    Analise um arquivo GGUF local

    gguf-parser --path ~/.cache/lm-studio/models/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF/DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf

Antes de usar

  • A estimativa de tokens máximos por segundo é experimental.
  • Alguns arquivos de modelo não seguem a nomenclatura general.file_type, então o rótulo de quantização pode estar incorreto.

Em coleções

Rode LLMs localmente

Tópicos

#gguf#llm#memory-estimation#llama-cpp#model-inspection#inference#go#llama-box#stable-diffusion-cpp

Perguntas frequentes

O que é gguf-parser-go?
Ferramenta em Go que lê arquivos de modelos GGUF remotamente e estima o uso de RAM/VRAM e o máximo de tokens por segundo antes do download. O GGUF Parser inspeciona arquivos de modelos GGUF e informa seus metadados, arquitetura, detalhes do tokenizer e requisitos estimados de memória. Ele lê apenas os trechos necessários, então consegue analisar um modelo hospedado no Hugging Face, ModelScope ou Ollama sem baixar o arquivo inteiro.
gguf-parser-go é gratuito? Qual é a licença?
gguf-parser-go é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
gguf-parser-go ainda é mantido?
Manutenção ativa. O último commit de gguf-parser-go foi em 30 de out. de 2026.
Para que posso usar gguf-parser-go?
Verificar se um modelo quantizado cabe na memória disponível da GPU antes de baixá-lo. Planejar quantas camadas descarregar para a GPU ao executar inferência baseada em llama.cpp. Comparar estimativas de memória e throughput entre variantes de modelos e níveis de quantização.
Como instalar gguf-parser-go?
Baixe o binário na página de versões Analise um arquivo GGUF local: gguf-parser --path ~/.cache/lm-studio/models/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF/DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf
Onde consigo gguf-parser-go?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/gpustack/gguf-parser-go

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados