huggingface/optimum-nvidia

これは何？

主な機能

• 01importを1行変更するだけで、transformersのpipelineおよびAutoModelForCausalLMをそのまま置き換えられます。
• 02HopperおよびAda-Lovelace GPUでのFP8量子化に対応します。
• 03プロンプトの最大長、出力の最大長、バッチサイズを設定できます。
• 04pipパッケージとDockerイメージを提供し、TensorRT-LLMをベースにソースからビルドすることもできます。
• 05top_k、top_p、repetition_penaltyなど、Hugging Faceのgenerate()オプションに対応します。

ユースケース

• NVIDIA GPU上でLLaMA系チャットモデルを高スループットで提供する。
• アプリケーションコードを書き換えずに、既存のtransformersテキスト生成パイプラインを高速化する。
• H100またはL40SサーバーでFP8量子化推論を実行する。

クイックスタート

1. 1

   システムパッケージをインストールする（Ubuntu）

   apt-get update && apt-get -y install python3.10 python3-pip openmpi-bin libopenmpi-dev
2. 2

   pipでoptimum-nvidiaをインストールする

   python -m pip install --pre --extra-index-url https://pypi.nvidia.com optimum-nvidia

使う前に知っておきたいこと

• !pipによるインストールはUbuntuでのみ検証されています。
• !Ampere、Hopper、またはAda-LovelaceアーキテクチャのNVIDIA GPUが必要です。
• !FP8はHopperおよびAda-Lovelace GPUでのみ利用できます。
• !現在、LlamaForCausalLMによるテキスト生成のみを高速化します。

収録されている特集

トピック

よくある質問

optimum-nvidia とは？

TensorRT-LLMを使ってNVIDIA GPUでのtransformersのテキスト生成を高速化するHugging Faceライブラリ。コードを1行変更するだけで利用できます。 Optimum-NVIDIAは、NVIDIAハードウェア上でLLM推論を高速化するためのHugging Faceライブラリです。transformersのpipelineおよびAutoModelForCausalLMインターフェースをラップしているため、importを変更するだけで、既存のtransformersコードから最適化されたバックエンドに切り替えられます。TensorRT-LLMをベースとしており、FP8量子化、プロンプトと出力の最大長、バッチサイズなどを設定できます。

optimum-nvidia は無料で使えますか？ライセンスは？

optimum-nvidia は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

optimum-nvidia は今もメンテナンスされていますか？

半年以内に更新あり。optimum-nvidia の最終コミットは 2026年9月24日 です。

optimum-nvidia は何に使えますか？

NVIDIA GPU上でLLaMA系チャットモデルを高スループットで提供する。 アプリケーションコードを書き換えずに、既存のtransformersテキスト生成パイプラインを高速化する。 H100またはL40SサーバーでFP8量子化推論を実行する。

optimum-nvidia のインストール方法は？

システムパッケージをインストールする（Ubuntu）: apt-get update && apt-get -y install python3.10 python3-pip openmpi-bin libopenmpi-dev pipでoptimum-nvidiaをインストールする: python -m pip install --pre --extra-index-url https://pypi.nvidia.com optimum-nvidia

optimum-nvidia はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/huggingface/optimum-nvidia