vllm-project/llm-compressor

これは何？

主な機能

• 01FP8、INT8、NVFP4、MXFP4などの形式による、重み、活性化値、KV cache、attentionの量子化。
• 02GPTQ、AWQ、SmoothQuant、AutoRound、round-to-nearest PTQなどのアルゴリズム。
• 03vLLMから直接読み込めるcompressed-tensors形式のチェックポイントを出力。
• 04Hugging Faceのモデルやリポジトリに対応。
• 05非常に大きなモデルの圧縮に使えるDDP、逐次オンロード、ディスクオフロード。
• 06mixture-of-expertsモデル向けのREAPエキスパート枝刈り。

ユースケース

• モデルのVRAM使用量を減らし、vLLMでのサービングに必要なGPUの台数を抑える。
• 新しいオープンウェイトモデルのFP4またはFP8チェックポイントを生成し、本番環境で推論する。
• ディスクオフロードやDDPを使い、限られたハードウェアで非常に大きなモデルを圧縮する。
• recipeを使って、さまざまな量子化アルゴリズムや方式を試す。

トピック

よくある質問

llm-compressor とは？

量子化や枝刈りでLLMを圧縮し、vLLMでそのまま推論に使えるチェックポイントを生成するPythonライブラリです。 LLM Compressorは、vLLMでデプロイする前に大規模言語モデルを最適化するためのライブラリです。重み、活性化値、KV cache、attentionを量子化できるほか、mixture-of-expertsモデルにはREAPによるエキスパート枝刈りも適用できます。モデルはcompressed-tensors形式で保存され、追加の変換なしでvLLMから読み込めます。

llm-compressor は無料で使えますか？ライセンスは？

llm-compressor は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

llm-compressor は今もメンテナンスされていますか？

活発にメンテナンス中。llm-compressor の最終コミットは 2026年10月22日 です。

llm-compressor は何に使えますか？

モデルのVRAM使用量を減らし、vLLMでのサービングに必要なGPUの台数を抑える。 新しいオープンウェイトモデルのFP4またはFP8チェックポイントを生成し、本番環境で推論する。 ディスクオフロードやDDPを使い、限られたハードウェアで非常に大きなモデルを圧縮する。 recipeを使って、さまざまな量子化アルゴリズムや方式を試す。

llm-compressor はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/vllm-project/llm-compressor