NVIDIA/Model-Optimizer

これは何？

主な機能

• 01NVFP4やFP8形式を含む、学習後量子化と量子化を考慮した学習
• 02LLMを小型化するための構造化枝刈りと知識蒸留
• 03投機的デコードとスパース化の手法
• 04TensorRT-LLM、vLLM、SGLang向けに量子化済みチェックポイントをエクスポート
• 05Hugging Face、PyTorch、ONNXのモデル入力に対応

ユースケース

• 大規模なHugging Face LLMをNVFP4またはFP8に量子化してから、vLLMやTensorRT-LLMでサービングする
• 大きなモデルを枝刈り・蒸留し、品質をほぼ維持した小さなモデルにする
• ドラフトモジュールを追加し、投機的デコードでトークン生成を高速化する
• 画像・動画生成パイプラインで拡散モデルのレイテンシを削減する

クイックスタート

1. 1

   PyPIから安定版をインストールする

   pip install -U nvidia-modelopt[all]

使う前に知っておきたいこと

• !インストール時に、ライセンス条項を確認すべき追加のサードパーティ製オープンソースプロジェクトも導入されます。
• !このソフトウェアを利用できるNVIDIAコンテナイメージには、それぞれ独自のライセンス条項があります。使用前に確認してください。

トピック

よくある質問

Model-Optimizer とは？

量子化、枝刈り、蒸留、スパース化、投機的デコードによって深層学習モデルを圧縮し、推論を高速化するNVIDIAのオープンソースライブラリ。 NVIDIA Model Optimizer（ModelOpt）は、学習後量子化、量子化を考慮した学習、枝刈り、知識蒸留、Neural Architecture Search、スパース化、投機的デコードなどのモデル最適化手法を適用するPythonライブラリです。Hugging Face、PyTorch、ONNXのモデルを入力として受け取り、これらの手法を組み合わせて、最適化済みの量子化チェックポイントをエクスポートするPython APIを提供します。

Model-Optimizer は無料で使えますか？ライセンスは？

Model-Optimizer は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

Model-Optimizer は今もメンテナンスされていますか？

活発にメンテナンス中。Model-Optimizer の最終コミットは 2026年11月6日 です。

Model-Optimizer は何に使えますか？

大規模なHugging Face LLMをNVFP4またはFP8に量子化してから、vLLMやTensorRT-LLMでサービングする 大きなモデルを枝刈り・蒸留し、品質をほぼ維持した小さなモデルにする ドラフトモジュールを追加し、投機的デコードでトークン生成を高速化する 画像・動画生成パイプラインで拡散モデルのレイテンシを削減する

Model-Optimizer のインストール方法は？

PyPIから安定版をインストールする: pip install -U nvidia-modelopt[all]

Model-Optimizer はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/NVIDIA/Model-Optimizer