TensorRT-LLM は無料で使えますか？ライセンスは？

TensorRT-LLM は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

TensorRT-LLM は今もメンテナンスされていますか？

活発にメンテナンス中。TensorRT-LLM の最終コミットは 2026年10月24日です。

TensorRT-LLM は何に使えますか？

NVIDIAデータセンターGPU上で大規模言語モデルを低レイテンシ・高スループットで提供する Blackwellハードウェア上でFP8やFP4モデルなどの量子化LLMをデプロイする MoEモデルの推論をマルチGPUまたはマルチノードで実行する NVIDIA GPU上で画像生成モデルを高速化する

TensorRT-LLM はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/NVIDIA/TensorRT-LLM

NVIDIA/TensorRT-LLM

Q: TensorRT-LLM は今もメンテナンスされていますか？

活発にメンテナンス中。TensorRT-LLM の最終コミットは 2026年10月24日 です。

NVIDIA製のオープンソースライブラリ。NVIDIA GPU上でのLLMと画像生成の推論を最適化し、Python APIとC++/Pythonランタイムを提供します。

GitHub で見る公式サイト

スター: 14,937
フォーク: 2,862
未解決の Issue: 1,789
最終コミット: 10 時間前

これは何？

TensorRT LLMは、NVIDIA GPU上で大規模言語モデルの推論を効率よく実行するためのライブラリです。LLMを定義するPython API、attention、GEMM、MoEレイヤーなどの一般的な処理向けカスタムカーネル、PythonとC++の両方で実行を制御するランタイムコンポーネントを備えています。

単一GPU、マルチGPU、マルチノード構成に対応し、並列化戦略、prefillとdecodeの分離、広範なexpert parallelism、speculative decodingをサポートします。NVIDIA DynamoおよびTriton Inference Serverと連携でき、PyTorchネイティブのアーキテクチャにより、開発者はランタイムを変更したり、PyTorchコードを使って事前定義済みモデルを適応させたりできます。

リポジトリには、画像生成（diffusion）モデルのサポートも含まれています。テレメトリーはデフォルトで収集されますが、環境変数、ファイル、Python API、CLIフラグから無効化できます。

主な機能

01NVIDIA GPU上でattention、GEMM、MoE処理を行うカスタムカーネル
02単一GPUからマルチノード構成まで対応するPython LLM API
03expert parallelismやprefillとdecodeの分離などの並列化オプション
04speculative decodingをはじめとするランタイム最適化
05モデルとランタイムを変更できるPyTorchネイティブのアーキテクチャ
06NVIDIA DynamoおよびTriton Inference Serverとの連携

ユースケース

NVIDIAデータセンターGPU上で大規模言語モデルを低レイテンシ・高スループットで提供する
Blackwellハードウェア上でFP8やFP4モデルなどの量子化LLMをデプロイする
MoEモデルの推論をマルチGPUまたはマルチノードで実行する
NVIDIA GPU上で画像生成モデルを高速化する

使う前に知っておきたいこと

NVIDIA GPU が必要なため、他のハードウェアでは実行できません。
ライセンスのメタデータは NOASSERTION となっていますが、README のバッジには Apache 2 と記載されています。使用前にライセンスを確認してください。
現在のリリースはリリース候補版（1.4.0rc2）のため、API が変更される可能性があります。

収録されている特集

LLM をローカルで動かす GPU で AI を学習・実行するツール

トピック

#llm-inference #gpu #cuda #llm-serving #moe #pytorch #inference-optimization #blackwell

よくある質問

TensorRT-LLM とは？: NVIDIA製のオープンソースライブラリ。NVIDIA GPU上でのLLMと画像生成の推論を最適化し、Python APIとC++/Pythonランタイムを提供します。 TensorRT LLMは、NVIDIA GPU上で大規模言語モデルの推論を効率よく実行するためのライブラリです。LLMを定義するPython API、attention、GEMM、MoEレイヤーなどの一般的な処理向けカスタムカーネル、PythonとC++の両方で実行を制御するランタイムコンポーネントを備えています。
TensorRT-LLM は無料で使えますか？ライセンスは？: TensorRT-LLM は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
TensorRT-LLM は今もメンテナンスされていますか？: 活発にメンテナンス中。TensorRT-LLM の最終コミットは 2026年10月24日です。
TensorRT-LLM は何に使えますか？: NVIDIAデータセンターGPU上で大規模言語モデルを低レイテンシ・高スループットで提供する Blackwellハードウェア上でFP8やFP4モデルなどの量子化LLMをデプロイする MoEモデルの推論をマルチGPUまたはマルチノードで実行する NVIDIA GPU上で画像生成モデルを高速化する
TensorRT-LLM はどこで入手できますか？: ソースコードとインストール手順は GitHub にあります：https://github.com/NVIDIA/TensorRT-LLM

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。