Repolode
Enviar
NVIDIA

NVIDIA/TensorRT-LLM

Biblioteca open source da NVIDIA para otimizar a inferência de LLMs e modelos de geração visual em GPUs NVIDIA, com API Python e runtimes em C++ e Python.

Ver no GitHubSite
Estrelas
14,937
Forks
2,862
Issues abertas
1,789
Último commit
há 11 horas

O que é?

TensorRT LLM é uma biblioteca para executar inferência de modelos de linguagem grandes com eficiência em GPUs NVIDIA. Ela oferece uma API Python para definir LLMs, kernels personalizados para operações comuns como attention, GEMMs e camadas MoE, além de componentes de runtime que coordenam a execução em Python e C++.

O projeto abrange configurações com uma ou várias GPUs e vários nós, com suporte a estratégias de paralelismo, desagregação de prefill e decode, amplo paralelismo de experts e speculative decoding. Ele se integra ao NVIDIA Dynamo e ao Triton Inference Server, e sua arquitetura nativa de PyTorch permite que desenvolvedores modifiquem o runtime ou adaptem modelos pré-definidos usando código PyTorch.

O repositório também oferece suporte a modelos de geração visual (diffusion). A telemetria é coletada por padrão, mas pode ser desativada por meio de uma variável de ambiente, de um arquivo, da API Python ou de uma flag da CLI.

Recursos principais

  • 01Kernels personalizados para operações de attention, GEMM e MoE em GPUs NVIDIA
  • 02API Python para LLMs, abrangendo desde implantações em uma GPU até implantações em vários nós
  • 03Opções de paralelismo, incluindo paralelismo de experts e desagregação de prefill e decode
  • 04Speculative decoding e outras otimizações de runtime
  • 05Arquitetura nativa de PyTorch para modificar modelos e o runtime
  • 06Integração com NVIDIA Dynamo e Triton Inference Server

Casos de uso

  • Servir modelos de linguagem grandes com baixa latência e alto throughput em GPUs NVIDIA para data centers
  • Implantar LLMs quantizados, como modelos FP8 ou FP4, em hardware Blackwell
  • Executar inferência em várias GPUs ou vários nós para modelos mixture-of-experts
  • Acelerar modelos de geração visual em GPUs NVIDIA

Antes de usar

  • Requer GPUs NVIDIA, portanto não pode ser executado em outros tipos de hardware.
  • Os metadados da licença indicam NOASSERTION, embora o selo no README diga Apache 2. Verifique a licença antes de usar.
  • A versão atual é uma versão candidata (1.4.0rc2), portanto as APIs podem mudar.

Em coleções

Rode LLMs localmenteTreine e execute IA em GPUs

Tópicos

#llm-inference#gpu#cuda#llm-serving#moe#pytorch#inference-optimization#blackwell

Perguntas frequentes

O que é TensorRT-LLM?
Biblioteca open source da NVIDIA para otimizar a inferência de LLMs e modelos de geração visual em GPUs NVIDIA, com API Python e runtimes em C++ e Python. TensorRT LLM é uma biblioteca para executar inferência de modelos de linguagem grandes com eficiência em GPUs NVIDIA. Ela oferece uma API Python para definir LLMs, kernels personalizados para operações comuns como attention, GEMMs e camadas MoE, além de componentes de runtime que coordenam a execução em Python e C++.
TensorRT-LLM é gratuito? Qual é a licença?
TensorRT-LLM é open source sob a licença Other. Confira os termos da licença antes de usá-lo em produtos comerciais.
TensorRT-LLM ainda é mantido?
Manutenção ativa. O último commit de TensorRT-LLM foi em 24 de out. de 2026.
Para que posso usar TensorRT-LLM?
Servir modelos de linguagem grandes com baixa latência e alto throughput em GPUs NVIDIA para data centers Implantar LLMs quantizados, como modelos FP8 ou FP4, em hardware Blackwell Executar inferência em várias GPUs ou vários nós para modelos mixture-of-experts Acelerar modelos de geração visual em GPUs NVIDIA
Onde consigo TensorRT-LLM?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/NVIDIA/TensorRT-LLM

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados