Repolode
Enviar
triton-inference-server

triton-inference-server/tensorrtllm_backend

Backend do Triton Inference Server que permite servir TensorRT-LLM e LLMs compatíveis com HuggingFace pelas APIs HTTP e gRPC do Triton.

Ver no GitHub
Estrelas
945
Forks
145
Issues abertas
344
Último commit
há 5 dias

O que é?

O TensorRT-LLM Backend conecta a biblioteca de inferência TensorRT-LLM da NVIDIA ao Triton Inference Server, permitindo implantar e consultar LLMs pelo repositório de modelos e pelos endpoints de inferência padrão do Triton. Ele inclui uma implementação em C++ de inflight batching com suporte a paged attention, além de um caminho baseado em PyTorch e na API LLM que pode servir modelos HuggingFace sem compilar um engine antes.

O comportamento dos modelos é configurado por meio de um arquivo model.yaml, cujas chaves correspondem aos argumentos do construtor LLM(), abrangendo KV cache, quantização e paralelismo de tensor, pipeline e experts. As solicitações podem ser canceladas durante a geração reutilizando um ID de solicitação com uma flag de parada. O projeto também documenta modos de líder e orquestrador para várias GPUs, scripts de inicialização do Slurm e métricas no estilo Prometheus com o prefixo nv_trt_llm_.

O código-fonte do backend foi movido para o repositório TensorRT-LLM, no diretório triton_backend, e este repositório agora serve como ponto de entrada e central de documentação para implantá-lo.

Recursos principais

  • 01Serve engines TensorRT-LLM e modelos HuggingFace pelos endpoints HTTP e gRPC do Triton.
  • 02Implementa inflight batching e paged attention no backend em C++.
  • 03Configura KV cache, quantização e paralelismo por meio de um arquivo model.yaml.
  • 04Oferece suporte a paralelismo de tensor, pipeline e experts para modelos grandes.
  • 05Permite cancelar solicitações de geração em andamento pelo ID da solicitação.
  • 06Expõe estatísticas do gerenciador de batches do TRT-LLM no endpoint de métricas do Triton.

Casos de uso

  • Implantar um LLM grande em várias GPUs ou nós NVIDIA, atrás de um endpoint do Triton.
  • Servir vários modelos em um único servidor Triton usando um repositório de modelos compartilhado.
  • Avaliar a latência e o throughput do TensorRT-LLM com os scripts incluídos.
  • Executar inferência com Triton em clusters de GPUs gerenciados pelo Slurm.

Início rápido

  1. 1

    Inicie o contêiner NVIDIA Triton TensorRT-LLM

    docker run --rm -it --net host --shm-size=2g --ulimit memlock=-1 --gpus all -v ~/.cache/huggingface:/root/.cache/huggingface nvcr.io/nvidia/tritonserver:25.12-trtllm-python-py3 bash
  2. 2

    Clone o repositório TensorRT-LLM e configure o modelo em model.yaml

    git clone https://github.com/NVIDIA/TensorRT-LLM.git
  3. 3

    Inicie o servidor Triton no diretório pai do repositório clonado

    python3 TensorRT-LLM/triton_backend/scripts/launch_triton_server.py --model_repo=TensorRT-LLM/triton_backend/all_models/llmapi/

Antes de usar

  • Requer GPUs NVIDIA e a stack TensorRT-LLM, portanto não funciona em hardware comum.
  • A configuração depende de uma imagem de contêiner grande da NVIDIA e do Docker com suporte a GPU.
  • Modelos com acesso restrito, como Llama, exigem um token do HuggingFace.

Em coleções

Rode LLMs localmenteTreine e execute IA em GPUs

Tópicos

#llm-inference#tensorrt#nvidia#triton-inference-server#gpu#model-serving#inference-optimization

Perguntas frequentes

O que é tensorrtllm_backend?
Backend do Triton Inference Server que permite servir TensorRT-LLM e LLMs compatíveis com HuggingFace pelas APIs HTTP e gRPC do Triton. O TensorRT-LLM Backend conecta a biblioteca de inferência TensorRT-LLM da NVIDIA ao Triton Inference Server, permitindo implantar e consultar LLMs pelo repositório de modelos e pelos endpoints de inferência padrão do Triton. Ele inclui uma implementação em C++ de inflight batching com suporte a paged attention, além de um caminho baseado em PyTorch e na API LLM que pode servir modelos HuggingFace sem compilar um engine antes.
tensorrtllm_backend é gratuito? Qual é a licença?
tensorrtllm_backend é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
tensorrtllm_backend ainda é mantido?
Manutenção ativa. O último commit de tensorrtllm_backend foi em 2 de nov. de 2026.
Para que posso usar tensorrtllm_backend?
Implantar um LLM grande em várias GPUs ou nós NVIDIA, atrás de um endpoint do Triton. Servir vários modelos em um único servidor Triton usando um repositório de modelos compartilhado. Avaliar a latência e o throughput do TensorRT-LLM com os scripts incluídos. Executar inferência com Triton em clusters de GPUs gerenciados pelo Slurm.
Como instalar tensorrtllm_backend?
Inicie o contêiner NVIDIA Triton TensorRT-LLM: docker run --rm -it --net host --shm-size=2g --ulimit memlock=-1 --gpus all -v ~/.cache/huggingface:/root/.cache/huggingface nvcr.io/nvidia/tritonserver:25.12-trtllm-python-py3 bash Clone o repositório TensorRT-LLM e configure o modelo em model.yaml: git clone https://github.com/NVIDIA/TensorRT-LLM.git Inicie o servidor Triton no diretório pai do repositório clonado: python3 TensorRT-LLM/triton_backend/scripts/launch_triton_server.py --model_repo=TensorRT-LLM/triton_backend/all_models/llmapi/
Onde consigo tensorrtllm_backend?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/triton-inference-server/tensorrtllm_backend

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados