triton-inference-server/server

O que é?

Recursos principais

• 01Disponibiliza modelos de TensorRT, PyTorch, ONNX, OpenVINO, Python e outros frameworks.
• 02Dynamic batching e sequence batching para modelos com estado.
• 03Execução concorrente de modelos em GPUs e CPUs.
• 04Endpoints HTTP/REST e gRPC que seguem o protocolo KServe v2.
• 05Ensembles de modelos e Business Logic Scripting para pipelines com vários modelos.
• 06Backends personalizados em C/C++ ou Python, além de APIs C e Java para uso no próprio processo.
• 07Métricas de utilização de GPU, throughput e latência.

Casos de uso

• Servir endpoints de inferência em produção para modelos treinados em vários frameworks.
• Executar pipelines com vários modelos que encadeiam pré-processamento, inferência e pós-processamento.
• Implantar modelos no Kubernetes ou em dispositivos edge com hardware de GPU ou CPU.
• Incorporar a inferência de modelos diretamente em uma aplicação C++ ou Java.

Início rápido

1. 1

   Clone o repositório e baixe os modelos de exemplo

   git clone -b r26.09 https://github.com/triton-inference-server/server.git
2. 2

   Inicie o Triton a partir do contêiner NGC Triton

   docker run --gpus=1 --rm --net=host -v ${PWD}/model_repository:/models nvcr.io/nvidia/tritonserver:26.09-py3 tritonserver --model-repository=/models --model-control-mode explicit --load-model densenet_onnx
3. 3

   Envie uma solicitação de inferência usando o exemplo image_client do contêiner NGC Triton SDK

   docker run -it --rm --net=host nvcr.io/nvidia/tritonserver:26.09-py3-sdk /workspace/install/bin/image_client -m densenet_onnx -c 3 -s INCEPTION /workspace/images/mug.jpg

Antes de usar

• !A execução do exemplo principal do início rápido exige uma GPU NVIDIA; a opção de usar somente CPU está documentada separadamente.
• !O README informa que a branch main está em desenvolvimento; a versão estável é a 2.73.0.
• !A implantação por meio dos contêineres Docker da NVIDIA é recomendada. Por isso, o Docker é necessário para a configuração mais simples.

Tópicos

Perguntas frequentes

O que é server?

Servidor de inferência open source que disponibiliza modelos de IA do TensorRT, PyTorch, ONNX, OpenVINO e outros frameworks via HTTP/REST e gRPC. O Triton Inference Server é um sistema open source para servir modelos de IA. Ele permite que equipes implantem modelos de vários frameworks, incluindo TensorRT, PyTorch, ONNX, OpenVINO e Python, por meio de um único servidor. Entre os destinos compatíveis estão GPUs NVIDIA, CPUs x86 e ARM e AWS Inferentia, abrangendo nuvem, data centers, edge e dispositivos embarcados.

server é gratuito? Qual é a licença?

server é open source sob a licença BSD-3-Clause. Confira os termos da licença antes de usá-lo em produtos comerciais.

server ainda é mantido?

Manutenção ativa. O último commit de server foi em 22 de out. de 2026.

Para que posso usar server?

Servir endpoints de inferência em produção para modelos treinados em vários frameworks. Executar pipelines com vários modelos que encadeiam pré-processamento, inferência e pós-processamento. Implantar modelos no Kubernetes ou em dispositivos edge com hardware de GPU ou CPU. Incorporar a inferência de modelos diretamente em uma aplicação C++ ou Java.

Como instalar server?

Clone o repositório e baixe os modelos de exemplo: git clone -b r26.09 https://github.com/triton-inference-server/server.git Inicie o Triton a partir do contêiner NGC Triton: docker run --gpus=1 --rm --net=host -v ${PWD}/model_repository:/models nvcr.io/nvidia/tritonserver:26.09-py3 tritonserver --model-repository=/models --model-control-mode explicit --load-model densenet_onnx Envie uma solicitação de inferência usando o exemplo image_client do contêiner NGC Triton SDK: docker run -it --rm --net=host nvcr.io/nvidia/tritonserver:26.09-py3-sdk /workspace/install/bin/image_client -m densenet_onnx -c 3 -s INCEPTION /workspace/images/mug.jpg

Onde consigo server?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/triton-inference-server/server