gpustack/gguf-parser-go

これは何？

主な機能

• 01リモートURLやHugging Face、ModelScopeのリポジトリからGGUFメタデータを解析します。ファイル全体のダウンロードは不要です。
• 02設定可能なコンテキストサイズ、バッチサイズ、レイヤーのオフロード設定に基づき、RAMとVRAMの使用量を推定します。
• 03指定されたデバイスのメトリクスから、最大トークン生成速度を推定します。
• 04embedding、reranking、decision、LoRAの各モデルファイルを判別します。
• 05推定でのマルチGPUによるテンソル分割と、RPC経由のリモートデバイスに対応しています。

ユースケース

• 量子化モデルをダウンロードする前に、利用可能なGPUメモリに収まるか確認する。
• llama.cppベースの推論を実行する際に、GPUへオフロードするレイヤー数を計画する。
• モデルのバリエーションや量子化レベルごとに、メモリ使用量とスループットの推定値を比較する。

クイックスタート

1. 1

   リリースページからバイナリをダウンロードする

2. 2

   ローカルのGGUFファイルを解析する

   gguf-parser --path ~/.cache/lm-studio/models/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF/DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf

使う前に知っておきたいこと

• !1秒あたりの最大トークン数の推定値は実験的なものです。
• !一部のモデルファイルはgeneral.file_typeの命名規則に従っていないため、量子化ラベルが正確でない場合があります。

収録されている特集

トピック

よくある質問

gguf-parser-go とは？

ダウンロード前にGGUFモデルをリモートから読み込み、RAM/VRAM使用量と最大トークン生成速度を推定するGo製ツール。 GGUF ParserはGGUFモデルファイルを解析し、メタデータ、アーキテクチャ、トークナイザーの詳細、推定メモリ要件を報告します。必要なチャンクだけを読み込むため、ファイル全体をダウンロードせずに、Hugging Face、ModelScope、Ollama上のモデルを解析できます。

gguf-parser-go は無料で使えますか？ライセンスは？

gguf-parser-go は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

gguf-parser-go は今もメンテナンスされていますか？

活発にメンテナンス中。gguf-parser-go の最終コミットは 2026年10月30日 です。

gguf-parser-go は何に使えますか？

量子化モデルをダウンロードする前に、利用可能なGPUメモリに収まるか確認する。 llama.cppベースの推論を実行する際に、GPUへオフロードするレイヤー数を計画する。 モデルのバリエーションや量子化レベルごとに、メモリ使用量とスループットの推定値を比較する。

gguf-parser-go のインストール方法は？

リリースページからバイナリをダウンロードする ローカルのGGUFファイルを解析する: gguf-parser --path ~/.cache/lm-studio/models/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF/DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf

gguf-parser-go はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/gpustack/gguf-parser-go