Servidor de inferencia de código abierto que despliega modelos de IA de TensorRT, PyTorch, ONNX, OpenVINO y otros frameworks mediante HTTP/REST y gRPC.
11,1 mil1,9 milPythonBSD-3-ClauseActualizado hace 2 horas
NVIDIA/TensorRT
Componentes de código abierto de TensorRT de NVIDIA, un SDK para inferencia de deep learning de alto rendimiento en GPU NVIDIA, que incluye plugins, el parser de ONNX y ejemplos.
- Estrellas
- 13,411
- Forks
- 2,412
- Issues abiertos
- 668
- Último commit
- hace 13 días
¿Qué es?
TensorRT es el SDK de NVIDIA para ejecutar modelos de deep learning en GPU NVIDIA con fines de inferencia. Este repositorio contiene el subconjunto de código abierto de la versión de TensorRT: el código fuente de sus plugins y del parser de ONNX, junto con aplicaciones de ejemplo que muestran cómo usar la plataforma. El runtime y la biblioteca de código cerrado corresponden a la versión de disponibilidad general, con la que se compila este repositorio.
El proyecto permite compilar para Linux en x86-64 y aarch64 (incluida la compilación cruzada para Jetson y DriveOS) y para Windows, con CMake como sistema de compilación. Para Linux se ofrece un flujo de compilación en contenedores con Docker. También hay disponible un paquete pip, tensorrt, para instalar los bindings de Python sin compilar desde el código fuente.
El repositorio también documenta rutas de importación como ONNX, Torch-TensorRT, HuggingFace/Optimum y la Network Definition API, además de una matriz de compatibilidad por modelo que abarca LLM, codificadores de NLP, modelos de visión, audio, difusión y multimodales.
Funciones clave
- 01Código fuente de los plugins y el parser de ONNX de TensorRT, ambos de código abierto.
- 02Aplicaciones de ejemplo que muestran cómo usar TensorRT.
- 03Compilación para Linux (x86-64, aarch64) y Windows mediante CMake.
- 04Contenedores de compilación basados en Docker para compilar en Linux de forma reproducible.
- 05Paquete de Python instalable con pip.
- 06Toolchains de compilación cruzada para destinos Jetson y DriveOS.
Casos de uso
- Implementar modelos de deep learning para inferencias de baja latencia en GPU NVIDIA.
- Convertir modelos ONNX o PyTorch en engines optimizados de TensorRT.
- Crear plugins personalizados de TensorRT para capas que no son compatibles de forma nativa.
- Ejecutar inferencias en dispositivos integrados Jetson o DriveOS.
Inicio rápido
- 1
Instala el paquete de Python de TensorRT precompilado
pip install tensorrt
Antes de usarlo
- Requiere una GPU NVIDIA con CUDA instalado.
- El repositorio de código abierto es un subconjunto de la versión GA de TensorRT y requiere una compilación independiente de TensorRT para completar una compilación nativa.
- Para compilar desde el código fuente se necesitan requisitos previos del sistema de gran tamaño, como CUDA, cuDNN y las bibliotecas TensorRT GA.
Temas
Preguntas frecuentes
- ¿Qué es TensorRT?
- Componentes de código abierto de TensorRT de NVIDIA, un SDK para inferencia de deep learning de alto rendimiento en GPU NVIDIA, que incluye plugins, el parser de ONNX y ejemplos. TensorRT es el SDK de NVIDIA para ejecutar modelos de deep learning en GPU NVIDIA con fines de inferencia. Este repositorio contiene el subconjunto de código abierto de la versión de TensorRT: el código fuente de sus plugins y del parser de ONNX, junto con aplicaciones de ejemplo que muestran cómo usar la plataforma. El runtime y la biblioteca de código cerrado corresponden a la versión de disponibilidad general, con la que se compila este repositorio.
- ¿TensorRT es gratuito? ¿Qué licencia tiene?
- TensorRT es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿TensorRT sigue mantenido?
- Mantenimiento activo. El último commit de TensorRT fue el 9 oct 2026.
- ¿Para qué puedo usar TensorRT?
- Implementar modelos de deep learning para inferencias de baja latencia en GPU NVIDIA. Convertir modelos ONNX o PyTorch en engines optimizados de TensorRT. Crear plugins personalizados de TensorRT para capas que no son compatibles de forma nativa. Ejecutar inferencias en dispositivos integrados Jetson o DriveOS.
- ¿Cómo se instala TensorRT?
- Instala el paquete de Python de TensorRT precompilado: pip install tensorrt
- ¿Dónde consigo TensorRT?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/NVIDIA/TensorRT
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Un toolkit de Python que optimiza modelos ONNX reduciendo el número de operadores y manteniendo la precisión, con el objetivo de acelerar la inferencia.
52344PythonMITActualizado hace 6 días
Biblioteca nativa de PyTorch para cuantización, sparsity y entrenamiento float8, tanto para entrenar modelos como para servir inferencias.
3 mil655PythonOtherActualizado hace 1 hora
Toolkit de código abierto para optimizar e implementar modelos de deep learning para inferencia en CPU, GPU y NPU de Intel.
11 mil3,5 milC++Apache-2.0Actualizado hace 2 horas
Framework de despliegue de IA con un editor visual de flujos de trabajo de arrastrar y soltar, que ejecuta modelos en equipos de escritorio, móviles, edge y servidores mediante varios motores de inferencia.
1,9 mil231C++Apache-2.0Actualizado hace 2 meses
Libro gratuito y de código abierto en chino, con código complementario, para aprender PyTorch desde los fundamentos hasta aplicaciones de CV, NLP y LLM, y su despliegue.
4,6 mil494Jupyter NotebookSin licenciaActualizado hace 12 horas