Repolode
Enviar
triton-inference-server

triton-inference-server/server

Servidor de inferencia de código abierto que despliega modelos de IA de TensorRT, PyTorch, ONNX, OpenVINO y otros frameworks mediante HTTP/REST y gRPC.

Ver en GitHubSitio web
Estrellas
11,103
Forks
1,861
Issues abiertos
908
Último commit
hace 8 horas

¿Qué es?

Triton Inference Server es un sistema de serving de código abierto para modelos de IA. Permite a los equipos desplegar modelos de varios frameworks, como TensorRT, PyTorch, ONNX, OpenVINO y Python, desde un único servidor. Admite NVIDIA GPU, CPU x86 y ARM, y AWS Inferentia, para entornos de nube, centros de datos, edge y dispositivos integrados.

El servidor expone modelos mediante HTTP/REST y gRPC con el protocolo KServe v2. Ofrece batching dinámico, batching de secuencias para modelos con estado, ejecución concurrente de modelos y ensembles de modelos o Business Logic Scripting para crear pipelines de varios pasos. Se pueden escribir backends personalizados en C/C++ o Python, y las API de C y Java permiten integrarlo en el mismo proceso.

Triton publica métricas de uso de GPU, throughput y latencia. Se recomienda usar imágenes Docker para compilarlo y ejecutarlo, e incluye ejemplos de despliegue con Kubernetes y Helm.

Funciones clave

  • 01Sirve modelos de TensorRT, PyTorch, ONNX, OpenVINO, Python y otros frameworks.
  • 02Batching dinámico y batching de secuencias para modelos con estado.
  • 03Ejecución concurrente de modelos en GPU y CPU.
  • 04Endpoints HTTP/REST y gRPC que siguen el protocolo KServe v2.
  • 05Ensembles de modelos y Business Logic Scripting para pipelines con varios modelos.
  • 06Backends personalizados en C/C++ o Python, además de API de C y Java para su uso en el mismo proceso.
  • 07Métricas de uso de GPU, throughput y latencia.

Casos de uso

  • Ofrecer endpoints de inferencia en producción para modelos entrenados con varios frameworks.
  • Ejecutar pipelines con varios modelos que encadenan preprocesamiento, inferencia y posprocesamiento.
  • Desplegar modelos en Kubernetes o en dispositivos edge con hardware GPU o CPU.
  • Integrar la inferencia de modelos directamente en una aplicación C++ o Java.

Inicio rápido

  1. 1

    Clona el repositorio y descarga los modelos de ejemplo

    git clone -b r26.09 https://github.com/triton-inference-server/server.git
  2. 2

    Inicia Triton desde el contenedor NGC Triton

    docker run --gpus=1 --rm --net=host -v ${PWD}/model_repository:/models nvcr.io/nvidia/tritonserver:26.09-py3 tritonserver --model-repository=/models --model-control-mode explicit --load-model densenet_onnx
  3. 3

    Envía una solicitud de inferencia con el ejemplo image_client del contenedor NGC Triton SDK

    docker run -it --rm --net=host nvcr.io/nvidia/tritonserver:26.09-py3-sdk /workspace/install/bin/image_client -m densenet_onnx -c 3 -s INCEPTION /workspace/images/mug.jpg

Antes de usarlo

  • Para ejecutar el ejemplo principal de inicio rápido se necesita una GPU NVIDIA; la opción de usar solo CPU está documentada por separado.
  • El README indica que la rama main está en desarrollo; la versión estable es la 2.73.0.
  • Se recomienda desplegar mediante los contenedores Docker de NVIDIA, por lo que Docker es necesario para configurar el entorno de la forma más sencilla.

Temas

#inference#deep-learning#model-serving#gpu#onnx#tensorrt#grpc#kubernetes#cloud#datacenter

Preguntas frecuentes

¿Qué es server?
Servidor de inferencia de código abierto que despliega modelos de IA de TensorRT, PyTorch, ONNX, OpenVINO y otros frameworks mediante HTTP/REST y gRPC. Triton Inference Server es un sistema de serving de código abierto para modelos de IA. Permite a los equipos desplegar modelos de varios frameworks, como TensorRT, PyTorch, ONNX, OpenVINO y Python, desde un único servidor. Admite NVIDIA GPU, CPU x86 y ARM, y AWS Inferentia, para entornos de nube, centros de datos, edge y dispositivos integrados.
¿server es gratuito? ¿Qué licencia tiene?
server es open source bajo la licencia BSD-3-Clause. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿server sigue mantenido?
Mantenimiento activo. El último commit de server fue el 22 oct 2026.
¿Para qué puedo usar server?
Ofrecer endpoints de inferencia en producción para modelos entrenados con varios frameworks. Ejecutar pipelines con varios modelos que encadenan preprocesamiento, inferencia y posprocesamiento. Desplegar modelos en Kubernetes o en dispositivos edge con hardware GPU o CPU. Integrar la inferencia de modelos directamente en una aplicación C++ o Java.
¿Cómo se instala server?
Clona el repositorio y descarga los modelos de ejemplo: git clone -b r26.09 https://github.com/triton-inference-server/server.git Inicia Triton desde el contenedor NGC Triton: docker run --gpus=1 --rm --net=host -v ${PWD}/model_repository:/models nvcr.io/nvidia/tritonserver:26.09-py3 tritonserver --model-repository=/models --model-control-mode explicit --load-model densenet_onnx Envía una solicitud de inferencia con el ejemplo image_client del contenedor NGC Triton SDK: docker run -it --rm --net=host nvcr.io/nvidia/tritonserver:26.09-py3-sdk /workspace/install/bin/image_client -m densenet_onnx -c 3 -s INCEPTION /workspace/images/mug.jpg
¿Dónde consigo server?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/triton-inference-server/server

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados