Repolode
Enviar
NVIDIA

NVIDIA/TensorRT-LLM

Biblioteca de código abierto de NVIDIA para optimizar la inferencia de LLM y generación visual en GPU NVIDIA, con una API de Python y runtimes en C++ y Python.

Ver en GitHubSitio web
Estrellas
14,937
Forks
2,862
Issues abiertos
1,789
Último commit
hace 10 horas

¿Qué es?

TensorRT LLM es una biblioteca para ejecutar de forma eficiente la inferencia de modelos de lenguaje grandes en GPU NVIDIA. Ofrece una API de Python para definir LLM, kernels personalizados para operaciones comunes como attention, GEMM y capas MoE, y componentes de runtime que coordinan la ejecución tanto en Python como en C++.

El proyecto cubre configuraciones de una sola GPU, varias GPU y varios nodos, con compatibilidad con estrategias de paralelismo, desagregación de prefill y decode, paralelismo de expertos amplio y speculative decoding. Se integra con NVIDIA Dynamo y Triton Inference Server, y su arquitectura nativa de PyTorch permite a los desarrolladores modificar el runtime o adaptar modelos predefinidos mediante código PyTorch.

El repositorio también incluye compatibilidad con modelos de generación visual (difusión). La telemetría se recopila de forma predeterminada, pero puede desactivarse mediante una variable de entorno, un archivo, la API de Python o una opción de CLI.

Funciones clave

  • 01Kernels personalizados para operaciones de attention, GEMM y MoE en GPU NVIDIA
  • 02API de LLM en Python para despliegues desde una sola GPU hasta varios nodos
  • 03Opciones de paralelismo, incluido el paralelismo de expertos y la desagregación de prefill y decode
  • 04Speculative decoding y otras optimizaciones del runtime
  • 05Arquitectura nativa de PyTorch para modificar modelos y el runtime
  • 06Integración con NVIDIA Dynamo y Triton Inference Server

Casos de uso

  • Servir modelos de lenguaje grandes con baja latencia y alto rendimiento en GPU NVIDIA para centros de datos
  • Desplegar LLM cuantizados, como modelos FP8 o FP4, en hardware Blackwell
  • Ejecutar inferencia en varias GPU o varios nodos para modelos de mezcla de expertos
  • Acelerar modelos de generación visual en GPU NVIDIA

Antes de usarlo

  • Requiere GPU NVIDIA, por lo que no puede ejecutarse en otro hardware.
  • Los metadatos de la licencia indican NOASSERTION, aunque la insignia del README dice Apache 2. Comprueba la licencia antes de usarlo.
  • La versión actual es una versión candidata (1.4.0rc2), por lo que las API pueden cambiar.

En colecciones

Ejecuta LLM en localEntrena y ejecuta IA en GPU

Temas

#llm-inference#gpu#cuda#llm-serving#moe#pytorch#inference-optimization#blackwell

Preguntas frecuentes

¿Qué es TensorRT-LLM?
Biblioteca de código abierto de NVIDIA para optimizar la inferencia de LLM y generación visual en GPU NVIDIA, con una API de Python y runtimes en C++ y Python. TensorRT LLM es una biblioteca para ejecutar de forma eficiente la inferencia de modelos de lenguaje grandes en GPU NVIDIA. Ofrece una API de Python para definir LLM, kernels personalizados para operaciones comunes como attention, GEMM y capas MoE, y componentes de runtime que coordinan la ejecución tanto en Python como en C++.
¿TensorRT-LLM es gratuito? ¿Qué licencia tiene?
TensorRT-LLM es open source bajo la licencia Other. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿TensorRT-LLM sigue mantenido?
Mantenimiento activo. El último commit de TensorRT-LLM fue el 24 oct 2026.
¿Para qué puedo usar TensorRT-LLM?
Servir modelos de lenguaje grandes con baja latencia y alto rendimiento en GPU NVIDIA para centros de datos Desplegar LLM cuantizados, como modelos FP8 o FP4, en hardware Blackwell Ejecutar inferencia en varias GPU o varios nodos para modelos de mezcla de expertos Acelerar modelos de generación visual en GPU NVIDIA
¿Dónde consigo TensorRT-LLM?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/NVIDIA/TensorRT-LLM

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados