triton-inference-server/tensorrtllm_backend

これは何？

主な機能

• 01TritonのHTTP・gRPCエンドポイント経由でTensorRT-LLMエンジンとHuggingFaceモデルを提供します。
• 02C++バックエンドでinflight batchingとpaged attentionを実装しています。
• 03model.yamlファイルでKV cache、量子化、並列化を設定できます。
• 04大規模モデル向けにtensor、pipeline、expert parallelismをサポートします。
• 05リクエストIDを指定して、実行中の生成リクエストをキャンセルできます。
• 06TRT-LLMのbatch manager統計情報をTritonのメトリクスエンドポイントで公開します。

ユースケース

• 複数のNVIDIA GPUまたはノードにまたがる大規模LLMを、Tritonエンドポイント経由でデプロイする。
• 共有モデルリポジトリを使い、1つのTritonサーバーから複数のモデルを提供する。
• 同梱スクリプトでTensorRT-LLMの基本的なレイテンシとスループットをベンチマークする。
• Slurmで管理されているGPUクラスター上でTriton推論を実行する。

クイックスタート

1. 1

   NVIDIA Triton TensorRT-LLM コンテナを起動する

   docker run --rm -it --net host --shm-size=2g --ulimit memlock=-1 --gpus all -v ~/.cache/huggingface:/root/.cache/huggingface nvcr.io/nvidia/tritonserver:25.12-trtllm-python-py3 bash
2. 2

   TensorRT-LLM リポジトリをクローンし、model.yaml でモデルを設定する

   git clone https://github.com/NVIDIA/TensorRT-LLM.git
3. 3

   クローンしたリポジトリの親ディレクトリから Triton サーバーを起動する

   python3 TensorRT-LLM/triton_backend/scripts/launch_triton_server.py --model_repo=TensorRT-LLM/triton_backend/all_models/llmapi/

使う前に知っておきたいこと

• !NVIDIA GPU と TensorRT-LLM スタックが必要なため、一般的なハードウェアでは実行できません。
• !セットアップには大容量の NVIDIA コンテナイメージと、GPU 対応の Docker が必要です。
• !Llama などのアクセス制限付きモデルには HuggingFace トークンが必要です。

収録されている特集

トピック

よくある質問

tensorrtllm_backend とは？

Triton Inference Serverのバックエンドとして、TensorRT-LLMやHuggingFace互換のLLMをTritonのHTTP・gRPC API経由で提供できます。 TensorRT-LLM Backendは、NVIDIAのTensorRT-LLM推論ライブラリをTriton Inference Serverに接続し、Triton標準のモデルリポジトリと推論エンドポイントを通じてLLMをデプロイ、実行できるようにします。paged attentionに対応したinflight batchingのC++実装に加え、LLM APIを基盤とするPyTorchベースの方法も備えており、エンジンを事前にコンパイルせずにHuggingFaceモデルを提供できます。

tensorrtllm_backend は無料で使えますか？ライセンスは？

tensorrtllm_backend は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

tensorrtllm_backend は今もメンテナンスされていますか？

活発にメンテナンス中。tensorrtllm_backend の最終コミットは 2026年11月2日 です。

tensorrtllm_backend は何に使えますか？

複数のNVIDIA GPUまたはノードにまたがる大規模LLMを、Tritonエンドポイント経由でデプロイする。 共有モデルリポジトリを使い、1つのTritonサーバーから複数のモデルを提供する。 同梱スクリプトでTensorRT-LLMの基本的なレイテンシとスループットをベンチマークする。 Slurmで管理されているGPUクラスター上でTriton推論を実行する。

tensorrtllm_backend のインストール方法は？

NVIDIA Triton TensorRT-LLM コンテナを起動する: docker run --rm -it --net host --shm-size=2g --ulimit memlock=-1 --gpus all -v ~/.cache/huggingface:/root/.cache/huggingface nvcr.io/nvidia/tritonserver:25.12-trtllm-python-py3 bash TensorRT-LLM リポジトリをクローンし、model.yaml でモデルを設定する: git clone https://github.com/NVIDIA/TensorRT-LLM.git クローンしたリポジトリの親ディレクトリから Triton サーバーを起動する: python3 TensorRT-LLM/triton_backend/scripts/launch_triton_server.py --model_repo=TensorRT-LLM/triton_backend/all_models/llmapi/

tensorrtllm_backend はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/triton-inference-server/tensorrtllm_backend