Repolode
投稿する
NVIDIA

NVIDIA/TensorRT

NVIDIA GPU上で高性能なディープラーニング推論を実行するSDK、TensorRTのオープンソースコンポーネント。プラグイン、ONNXパーサー、サンプルを含みます。

GitHub で見る公式サイト
スター
13,411
フォーク
2,412
未解決の Issue
668
最終コミット
13 日前

これは何？

TensorRTは、NVIDIA GPU上でディープラーニングモデルの推論を実行するためのNVIDIA製SDKです。このリポジトリには、TensorRTリリースのオープンソース部分として、プラグインとONNXパーサーのソースコードに加え、プラットフォームの使い方を示すサンプルアプリケーションが含まれています。クローズドソースのランタイムとライブラリは、一般提供版から入手し、このリポジトリはそれらを使ってビルドされます。

CMakeをビルドシステムとして、Linux（x86-64およびaarch64。JetsonとDriveOS向けのクロスコンパイルを含む）とWindowsでのビルドに対応しています。Linux向けにはDockerを使ったコンテナベースのビルド手順も用意されています。ソースからビルドせずにPythonバインディングをインストールできるpipパッケージ「tensorrt」も提供されています。

また、ONNX、Torch-TensorRT、HuggingFace/Optimum、Network Definition APIなどのモデル取り込み経路について解説しています。さらに、LLM、NLPエンコーダー、ビジョン、音声、拡散モデル、マルチモーダルモデルを対象とした、モデルごとのサポート状況一覧も掲載されています。

主な機能

  • 01TensorRTのプラグインとONNXパーサーのオープンソース実装。
  • 02TensorRTの使用方法を示すサンプルアプリケーション。
  • 03CMakeを使ったLinux（x86-64、aarch64）およびWindows向けのビルド。
  • 04再現性の高いLinuxビルドを実現するDockerベースのビルドコンテナ。
  • 05pipでインストールできるPythonパッケージ。
  • 06JetsonおよびDriveOS向けのクロスコンパイルツールチェーン。

ユースケース

  • NVIDIA GPU上でディープラーニングモデルを低レイテンシで推論実行する。
  • ONNXまたはPyTorchモデルを最適化されたTensorRTエンジンに変換する。
  • 標準でサポートされていないレイヤー向けに、独自のTensorRTプラグインを作成する。
  • JetsonまたはDriveOS搭載の組み込みデバイスで推論を実行する。

クイックスタート

  1. 1

    ビルド済みのTensorRT Pythonパッケージをインストールする

    pip install tensorrt

使う前に知っておきたいこと

  • CUDAをインストールしたNVIDIA GPUが必要です。
  • オープンソースのリポジトリはTensorRT GAリリースの一部であり、ネイティブビルドを完全に行うには別途TensorRTのビルドが必要です。
  • ソースからビルドするには、CUDA、cuDNN、TensorRT GAライブラリなど、大容量のシステム前提条件が必要です。

トピック

#deep-learning#inference#gpu-acceleration#onnx#cuda#model-optimization#nvidia#tensorrt

よくある質問

TensorRT とは？
NVIDIA GPU上で高性能なディープラーニング推論を実行するSDK、TensorRTのオープンソースコンポーネント。プラグイン、ONNXパーサー、サンプルを含みます。 TensorRTは、NVIDIA GPU上でディープラーニングモデルの推論を実行するためのNVIDIA製SDKです。このリポジトリには、TensorRTリリースのオープンソース部分として、プラグインとONNXパーサーのソースコードに加え、プラットフォームの使い方を示すサンプルアプリケーションが含まれています。クローズドソースのランタイムとライブラリは、一般提供版から入手し、このリポジトリはそれらを使ってビルドされます。
TensorRT は無料で使えますか？ライセンスは？
TensorRT は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
TensorRT は今もメンテナンスされていますか？
活発にメンテナンス中。TensorRT の最終コミットは 2026年10月9日 です。
TensorRT は何に使えますか？
NVIDIA GPU上でディープラーニングモデルを低レイテンシで推論実行する。 ONNXまたはPyTorchモデルを最適化されたTensorRTエンジンに変換する。 標準でサポートされていないレイヤー向けに、独自のTensorRTプラグインを作成する。 JetsonまたはDriveOS搭載の組み込みデバイスで推論を実行する。
TensorRT のインストール方法は？
ビルド済みのTensorRT Pythonパッケージをインストールする: pip install tensorrt
TensorRT はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/NVIDIA/TensorRT

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト