Servidor de inferência open source que disponibiliza modelos de IA do TensorRT, PyTorch, ONNX, OpenVINO e outros frameworks via HTTP/REST e gRPC.
11,1 mil1,9 milPythonBSD-3-ClauseAtualizado há 2 horas
NVIDIA/TensorRT
Componentes de código aberto do TensorRT da NVIDIA, um SDK para inferência de deep learning de alto desempenho em GPUs NVIDIA, incluindo plugins, o parser de ONNX e exemplos.
- Estrelas
- 13,411
- Forks
- 2,412
- Issues abertas
- 668
- Último commit
- há 13 dias
O que é?
TensorRT é o SDK da NVIDIA para executar modelos de deep learning em GPUs NVIDIA durante a inferência. Este repositório contém o subconjunto de código aberto do lançamento do TensorRT: o código-fonte dos plugins e do parser de ONNX, além de aplicativos de exemplo que mostram como usar a plataforma. O runtime e a biblioteca de código fechado vêm do lançamento de disponibilidade geral, contra o qual este repositório compila.
O projeto oferece suporte a compilações para Linux em x86-64 e aarch64 (incluindo compilação cruzada para Jetson e DriveOS) e para Windows, usando CMake como sistema de build. Há um fluxo de build em contêineres com Docker para Linux. Um pacote pip, tensorrt, está disponível para instalar as bindings de Python sem compilar a partir do código-fonte.
O repositório também documenta caminhos de importação como ONNX, Torch-TensorRT, HuggingFace/Optimum e a Network Definition API, além de uma matriz de suporte por modelo que abrange LLMs, encoders de NLP, modelos de visão, áudio, difusão e multimodais.
Recursos principais
- 01Código-fonte de plugins e do parser de ONNX de código aberto para TensorRT.
- 02Aplicativos de exemplo que demonstram o uso do TensorRT.
- 03Compilações para Linux (x86-64, aarch64) e Windows com CMake.
- 04Contêineres de build baseados em Docker para compilações reproduzíveis no Linux.
- 05Pacote Python instalável com pip.
- 06Toolchains de compilação cruzada para os alvos Jetson e DriveOS.
Casos de uso
- Implantar modelos de deep learning para inferência de baixa latência em GPUs NVIDIA.
- Converter modelos ONNX ou PyTorch em engines TensorRT otimizadas.
- Criar plugins personalizados do TensorRT para camadas sem suporte nativo.
- Executar inferência em dispositivos embarcados Jetson ou DriveOS.
Início rápido
- 1
Instale o pacote Python pré-compilado do TensorRT
pip install tensorrt
Antes de usar
- Requer uma GPU NVIDIA com CUDA instalado.
- O repositório de código aberto é um subconjunto da versão GA do TensorRT e requer uma compilação separada do TensorRT para uma compilação nativa completa.
- A compilação a partir do código-fonte exige grandes pré-requisitos de sistema, como CUDA, cuDNN e bibliotecas TensorRT GA.
Tópicos
Perguntas frequentes
- O que é TensorRT?
- Componentes de código aberto do TensorRT da NVIDIA, um SDK para inferência de deep learning de alto desempenho em GPUs NVIDIA, incluindo plugins, o parser de ONNX e exemplos. TensorRT é o SDK da NVIDIA para executar modelos de deep learning em GPUs NVIDIA durante a inferência. Este repositório contém o subconjunto de código aberto do lançamento do TensorRT: o código-fonte dos plugins e do parser de ONNX, além de aplicativos de exemplo que mostram como usar a plataforma. O runtime e a biblioteca de código fechado vêm do lançamento de disponibilidade geral, contra o qual este repositório compila.
- TensorRT é gratuito? Qual é a licença?
- TensorRT é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- TensorRT ainda é mantido?
- Manutenção ativa. O último commit de TensorRT foi em 9 de out. de 2026.
- Para que posso usar TensorRT?
- Implantar modelos de deep learning para inferência de baixa latência em GPUs NVIDIA. Converter modelos ONNX ou PyTorch em engines TensorRT otimizadas. Criar plugins personalizados do TensorRT para camadas sem suporte nativo. Executar inferência em dispositivos embarcados Jetson ou DriveOS.
- Como instalar TensorRT?
- Instale o pacote Python pré-compilado do TensorRT: pip install tensorrt
- Onde consigo TensorRT?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/NVIDIA/TensorRT
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Toolkit em Python que otimiza modelos ONNX reduzindo o número de operadores sem comprometer a precisão, para acelerar a inferência.
52344PythonMITAtualizado há 6 dias
Biblioteca nativa do PyTorch para quantização, esparsidade e treinamento em float8, abrangendo treinamento de modelos e inferência em produção.
3 mil655PythonOtherAtualizado há 35 minutos
Toolkit de código aberto para otimizar e implantar modelos de deep learning para inferência em CPUs, GPUs e NPUs Intel.
11 mil3,5 milC++Apache-2.0Atualizado há 1 hora
Framework de implantação de IA com editor visual de workflows por arrastar e soltar, que executa modelos em hardware desktop, móvel, de borda e servidor usando vários mecanismos de inferência.
1,9 mil231C++Apache-2.0Atualizado há 2 meses
Livro gratuito e de código aberto, em chinês, com código complementar para aprender PyTorch, do básico a aplicações de CV, NLP e LLMs e ao deployment.
4,6 mil494Jupyter NotebookSem licençaAtualizado há 11 horas