gpustack/gguf-parser-go

Что это?

Ключевые возможности

• 01Извлекает метаданные GGUF по удалённым URL или из репозиториев Hugging Face и ModelScope без скачивания файлов целиком.
• 02Оценивает потребление RAM и VRAM с учётом заданного размера контекста, размера батча и настроек выгрузки слоёв.
• 03Оценивает максимальную скорость генерации токенов на основе переданных метрик устройства.
• 04Различает файлы моделей для эмбеддингов, переранжирования, принятия решений и LoRA.
• 05Учитывает разделение тензоров между несколькими GPU и удалённые устройства RPC при расчётах.

Сценарии использования

• Проверить, поместится ли квантованная модель в доступную память GPU, прежде чем скачивать её.
• Спланировать, сколько слоёв выгружать на GPU при запуске инференса на базе llama.cpp.
• Сравнить оценки потребления памяти и пропускной способности для разных вариантов моделей и уровней квантования.

Быстрый старт

1. 1

   Скачайте бинарный файл со страницы релизов

2. 2

   Разберите локальный файл GGUF

   gguf-parser --path ~/.cache/lm-studio/models/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF/DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf

Что важно знать

• !Оценка максимального количества токенов в секунду является экспериментальной.
• !Некоторые файлы моделей не соответствуют соглашению об именовании general.file_type, поэтому метка квантования может быть неточной.

В подборках

Темы

Частые вопросы

Что такое gguf-parser-go?

Утилита на Go для удалённого анализа файлов моделей GGUF и оценки потребления RAM/VRAM и максимальной скорости генерации токенов до скачивания. GGUF Parser анализирует файлы моделей GGUF и выводит их метаданные, архитектуру, сведения о токенизаторе и примерные требования к памяти. Утилита считывает только нужные фрагменты файла, поэтому может анализировать модель, размещённую на Hugging Face, ModelScope или Ollama, не скачивая её целиком.

gguf-parser-go можно использовать бесплатно? Какая у него лицензия?

gguf-parser-go распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

gguf-parser-go всё ещё поддерживается?

Активно поддерживается. Последний коммит в gguf-parser-go — 30 окт. 2026 г..

Для чего можно использовать gguf-parser-go?

Проверить, поместится ли квантованная модель в доступную память GPU, прежде чем скачивать её. Спланировать, сколько слоёв выгружать на GPU при запуске инференса на базе llama.cpp. Сравнить оценки потребления памяти и пропускной способности для разных вариантов моделей и уровней квантования.

Как установить gguf-parser-go?

Скачайте бинарный файл со страницы релизов Разберите локальный файл GGUF: gguf-parser --path ~/.cache/lm-studio/models/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF/DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf

Где скачать gguf-parser-go?

Исходный код и инструкции по установке — на GitHub: https://github.com/gpustack/gguf-parser-go