Repolode
Enviar
triton-inference-server

triton-inference-server/tensorrtllm_backend

Backend de Triton Inference Server que permite servir TensorRT-LLM y LLM compatibles con HuggingFace a través de las API HTTP y gRPC de Triton.

Ver en GitHub
Estrellas
945
Forks
145
Issues abiertos
344
Último commit
hace 5 días

¿Qué es?

TensorRT-LLM Backend conecta la biblioteca de inferencia TensorRT-LLM de NVIDIA con Triton Inference Server, de modo que los LLM se pueden implementar y consultar mediante el repositorio de modelos y los endpoints de inferencia estándar de Triton. Incluye una implementación en C++ de batching de solicitudes en vuelo que admite paged attention, además de una ruta basada en PyTorch y en la API LLM que permite servir modelos de HuggingFace sin compilar antes un engine.

El comportamiento del modelo se configura mediante un archivo model.yaml, cuyas claves se corresponden con los argumentos del constructor LLM(), incluidos los relacionados con KV cache, cuantización y paralelismo de tensores, pipeline y expertos. Es posible cancelar solicitudes durante la generación reutilizando un ID de solicitud con una marca de detención. El proyecto también documenta los modos leader y orchestrator para varios GPU, scripts de lanzamiento para Slurm y métricas al estilo de Prometheus con el prefijo nv_trt_llm_.

El código fuente del backend se trasladó al repositorio de TensorRT-LLM, dentro del directorio triton_backend, y este repositorio ahora funciona como punto de entrada y centro de documentación para su implementación.

Funciones clave

  • 01Sirve engines de TensorRT-LLM y modelos de HuggingFace a través de los endpoints HTTP y gRPC de Triton.
  • 02Implementa batching de solicitudes en vuelo y paged attention en su backend de C++.
  • 03Configura KV cache, cuantización y paralelismo mediante un archivo model.yaml.
  • 04Admite paralelismo de tensores, pipeline y expertos para modelos grandes.
  • 05Permite cancelar solicitudes de generación en curso mediante su ID de solicitud.
  • 06Expone estadísticas del administrador de batching de TRT-LLM en el endpoint de métricas de Triton.

Casos de uso

  • Implementar un LLM grande en varios GPU o nodos NVIDIA detrás de un endpoint de Triton.
  • Servir varios modelos desde un único servidor Triton con un repositorio de modelos compartido.
  • Comparar la latencia y el throughput de TensorRT-LLM con los scripts incluidos.
  • Ejecutar inferencia de Triton en clústeres de GPU administrados con Slurm.

Inicio rápido

  1. 1

    Inicia el contenedor NVIDIA Triton TensorRT-LLM

    docker run --rm -it --net host --shm-size=2g --ulimit memlock=-1 --gpus all -v ~/.cache/huggingface:/root/.cache/huggingface nvcr.io/nvidia/tritonserver:25.12-trtllm-python-py3 bash
  2. 2

    Clona el repositorio TensorRT-LLM y configura el modelo en model.yaml

    git clone https://github.com/NVIDIA/TensorRT-LLM.git
  3. 3

    Inicia el servidor Triton desde el directorio padre del repositorio clonado

    python3 TensorRT-LLM/triton_backend/scripts/launch_triton_server.py --model_repo=TensorRT-LLM/triton_backend/all_models/llmapi/

Antes de usarlo

  • Requiere GPU de NVIDIA y el stack TensorRT-LLM, por lo que no funciona en hardware convencional.
  • La configuración depende de una imagen de contenedor grande de NVIDIA y de Docker con compatibilidad con GPU.
  • Los modelos con acceso restringido, como Llama, requieren un token de HuggingFace.

En colecciones

Ejecuta LLM en localEntrena y ejecuta IA en GPU

Temas

#llm-inference#tensorrt#nvidia#triton-inference-server#gpu#model-serving#inference-optimization

Preguntas frecuentes

¿Qué es tensorrtllm_backend?
Backend de Triton Inference Server que permite servir TensorRT-LLM y LLM compatibles con HuggingFace a través de las API HTTP y gRPC de Triton. TensorRT-LLM Backend conecta la biblioteca de inferencia TensorRT-LLM de NVIDIA con Triton Inference Server, de modo que los LLM se pueden implementar y consultar mediante el repositorio de modelos y los endpoints de inferencia estándar de Triton. Incluye una implementación en C++ de batching de solicitudes en vuelo que admite paged attention, además de una ruta basada en PyTorch y en la API LLM que permite servir modelos de HuggingFace sin compilar antes un engine.
¿tensorrtllm_backend es gratuito? ¿Qué licencia tiene?
tensorrtllm_backend es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿tensorrtllm_backend sigue mantenido?
Mantenimiento activo. El último commit de tensorrtllm_backend fue el 2 nov 2026.
¿Para qué puedo usar tensorrtllm_backend?
Implementar un LLM grande en varios GPU o nodos NVIDIA detrás de un endpoint de Triton. Servir varios modelos desde un único servidor Triton con un repositorio de modelos compartido. Comparar la latencia y el throughput de TensorRT-LLM con los scripts incluidos. Ejecutar inferencia de Triton en clústeres de GPU administrados con Slurm.
¿Cómo se instala tensorrtllm_backend?
Inicia el contenedor NVIDIA Triton TensorRT-LLM: docker run --rm -it --net host --shm-size=2g --ulimit memlock=-1 --gpus all -v ~/.cache/huggingface:/root/.cache/huggingface nvcr.io/nvidia/tritonserver:25.12-trtllm-python-py3 bash Clona el repositorio TensorRT-LLM y configura el modelo en model.yaml: git clone https://github.com/NVIDIA/TensorRT-LLM.git Inicia el servidor Triton desde el directorio padre del repositorio clonado: python3 TensorRT-LLM/triton_backend/scripts/launch_triton_server.py --model_repo=TensorRT-LLM/triton_backend/all_models/llmapi/
¿Dónde consigo tensorrtllm_backend?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/triton-inference-server/tensorrtllm_backend

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados