ModelCloud/GPTQModel

これは何？

主な機能

• 01GPTQ、AWQ、GGUF、FP8、EXL3、QQQ、VPTQなど、複数の量子化手法をひとつのAPIで利用できます。
• 02量子化済みチェックポイントをTransformersで読み込み、vLLMまたはSGLangで推論サービスとして提供できます。
• 03NVIDIA、AMD、Huawei Ascend、Intel XPU、Apple Silicon、CPUの各バックエンドで動作します。
• 04モジュールごとの量子化設定や、特定レイヤーの除外に対応しています。
• 05レイヤー単位のチェックポイントから、時間のかかる量子化ジョブを再開できます。
• 06読み込んだモデル向けにOpenAI互換のAPIエンドポイントを提供します。

ユースケース

• LlamaやQwenのモデルを圧縮し、必要なGPUメモリを減らす。
• vLLMまたはSGLangでのデプロイに向けて、量子化済みチェックポイントを作成する。
• MLX形式を使ってApple Silicon上でモデルを量子化する。
• 混合精度やレイヤーごとの量子化レシピを試す。

使う前に知っておきたいこと

• !ライセンスのメタデータが NOASSERTION のため、使用前にリポジトリでライセンスを直接確認してください。
• !実験的な W4A パスなど、一部の機能には NVIDIA SM89+ や GB10 などの特定のハードウェアが必要です。
• !最近のリリースで複数の API が廃止または変更されたため、既存のコードの移行が必要になる場合があります。

トピック

よくある質問

GPTQModel とは？

大規模言語モデルを量子化（GPTQ、AWQ、GGUF、FP8、EXL3など）し、NVIDIA、AMD、Intel、AppleのハードウェアやCPU上で推論するためのツールキット。 GPTQModelは、量子化によって大規模言語モデルを圧縮するPythonプラットフォームです。キャリブレーション、量子化、品質評価、保存、再読み込み、高速推論をひとつのAPIで提供し、GPTQ、AWQ、ParoQuant、QQQ、GGUF、FP8、EXL3、VPTQ、GPTAQなどの手法に対応しています。

GPTQModel は無料で使えますか？ライセンスは？

GPTQModel は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

GPTQModel は今もメンテナンスされていますか？

活発にメンテナンス中。GPTQModel の最終コミットは 2026年11月7日 です。

GPTQModel は何に使えますか？

LlamaやQwenのモデルを圧縮し、必要なGPUメモリを減らす。 vLLMまたはSGLangでのデプロイに向けて、量子化済みチェックポイントを作成する。 MLX形式を使ってApple Silicon上でモデルを量子化する。 混合精度やレイヤーごとの量子化レシピを試す。

GPTQModel はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/ModelCloud/GPTQModel