triton-inference-server/server

これは何？

主な機能

• 01TensorRT、PyTorch、ONNX、OpenVINO、Pythonなど、複数のフレームワークのモデルをサービングできます。
• 02ステートフルモデル向けの動的バッチ処理とシーケンスバッチ処理。
• 03GPUとCPUをまたいだモデルの並行実行。
• 04KServe v2プロトコルに準拠したHTTP/RESTおよびgRPCエンドポイント。
• 05複数モデルのパイプライン向けのモデルアンサンブルとBusiness Logic Scripting。
• 06C/C++またはPythonによるカスタムバックエンドと、プロセス内で利用するためのCおよびJava API。
• 07GPU使用率、スループット、レイテンシのメトリクス。

ユースケース

• 複数のフレームワークで学習したモデルの、本番環境向け推論エンドポイントの提供。
• 前処理、推論、後処理を連結する複数モデルのパイプラインの実行。
• GPUまたはCPUを搭載したKubernetes環境やエッジデバイスへのモデルのデプロイ。
• C++またはJavaアプリケーションへのモデル推論機能の直接組み込み。

クイックスタート

1. 1

   リポジトリをクローンし、サンプルモデルを取得する

   git clone -b r26.09 https://github.com/triton-inference-server/server.git
2. 2

   NGC Triton コンテナから Triton を起動する

   docker run --gpus=1 --rm --net=host -v ${PWD}/model_repository:/models nvcr.io/nvidia/tritonserver:26.09-py3 tritonserver --model-repository=/models --model-control-mode explicit --load-model densenet_onnx
3. 3

   NGC Triton SDK コンテナの image_client の例を使って推論リクエストを送信する

   docker run -it --rm --net=host nvcr.io/nvidia/tritonserver:26.09-py3-sdk /workspace/install/bin/image_client -m densenet_onnx -c 3 -s INCEPTION /workspace/images/mug.jpg

使う前に知っておきたいこと

• !クイックスタートのメイン例を実行するには NVIDIA GPU が必要です。CPU のみで実行する方法は別途記載されています。
• !README では main ブランチは開発中と説明されています。安定版はバージョン 2.73.0 です。
• !NVIDIA の Docker コンテナを使ったデプロイが推奨されているため、最も簡単にセットアップするには Docker が必要です。

トピック

よくある質問

server とは？

TensorRT、PyTorch、ONNX、OpenVINOなどのAIモデルをHTTP/RESTとgRPCでデプロイできるオープンソース推論サーバー。 Triton Inference Serverは、AIモデル向けのオープンソースサービングシステムです。TensorRT、PyTorch、ONNX、OpenVINO、Pythonなど、複数のフレームワークのモデルを単一のサーバー経由でデプロイできます。対応する実行環境には、NVIDIA GPU、x86およびARM CPU、AWS Inferentiaが含まれ、クラウド、データセンター、エッジ、組み込みデバイスで利用できます。

server は無料で使えますか？ライセンスは？

server は BSD-3-Clause ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

server は今もメンテナンスされていますか？

活発にメンテナンス中。server の最終コミットは 2026年10月22日 です。

server は何に使えますか？

複数のフレームワークで学習したモデルの、本番環境向け推論エンドポイントの提供。 前処理、推論、後処理を連結する複数モデルのパイプラインの実行。 GPUまたはCPUを搭載したKubernetes環境やエッジデバイスへのモデルのデプロイ。 C++またはJavaアプリケーションへのモデル推論機能の直接組み込み。

server のインストール方法は？

リポジトリをクローンし、サンプルモデルを取得する: git clone -b r26.09 https://github.com/triton-inference-server/server.git NGC Triton コンテナから Triton を起動する: docker run --gpus=1 --rm --net=host -v ${PWD}/model_repository:/models nvcr.io/nvidia/tritonserver:26.09-py3 tritonserver --model-repository=/models --model-control-mode explicit --load-model densenet_onnx NGC Triton SDK コンテナの image_client の例を使って推論リクエストを送信する: docker run -it --rm --net=host nvcr.io/nvidia/tritonserver:26.09-py3-sdk /workspace/install/bin/image_client -m densenet_onnx -c 3 -s INCEPTION /workspace/images/mug.jpg

server はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/triton-inference-server/server