Repolode
提交项目
NVIDIA

NVIDIA/TensorRT

NVIDIA TensorRT 的开源部分，用于在 NVIDIA GPU 上高性能运行深度学习推理，包含插件、ONNX 解析器和示例。

在 GitHub 查看官网
Star
13,411
Fork
2,412
未关闭 Issue
668
最近提交
13天前

这是什么？

TensorRT 是 NVIDIA 推出的 SDK，用于在 NVIDIA GPU 上运行深度学习模型推理。本仓库包含 TensorRT 发布版中开源的部分，即插件和 ONNX 解析器的源码，以及演示平台用法的示例应用。闭源的运行时和库来自正式发布版，本仓库基于其进行编译。

项目支持在 x86-64 和 aarch64 架构的 Linux 上构建（包括 Jetson 与 DriveOS 交叉编译），也支持 Windows，构建系统使用 CMake。Linux 下提供基于 Docker 的容器化构建流程。通过 pip 安装 tensorrt 包即可直接使用 Python 接口，无需从源码编译。

仓库还介绍了 ONNX、Torch-TensorRT、HuggingFace/Optimum 以及 Network Definition API 等导入路径，并提供按模型类别（LLM、NLP 编码器、视觉、音频、扩散及多模态）整理的支持矩阵。

核心功能

  • 01提供 TensorRT 的开源插件和 ONNX 解析器源码。
  • 02包含演示 TensorRT 用法的示例应用。
  • 03基于 CMake 支持 Linux（x86-64、aarch64）和 Windows 构建。
  • 04提供基于 Docker 的构建容器，便于复现 Linux 构建环境。
  • 05可通过 pip 安装 Python 包。
  • 06提供面向 Jetson 和 DriveOS 的交叉编译工具链。

适用场景

  • 在 NVIDIA GPU 上部署深度学习模型，实现低延迟推理。
  • 将 ONNX 或 PyTorch 模型转换为优化后的 TensorRT 引擎。
  • 为原生不支持的网络层开发自定义 TensorRT 插件。
  • 在 Jetson 或 DriveOS 等嵌入式设备上运行推理。

快速上手

  1. 1

    安装预编译的 TensorRT Python 包

    pip install tensorrt

使用前须知

  • 需要 NVIDIA GPU 并安装 CUDA。
  • 开源仓库只是 TensorRT GA 发行版的子集，完整的原生构建需要单独的 TensorRT 版本。
  • 从源码构建需要 CUDA、cuDNN 和 TensorRT GA 库等较大的系统依赖。

标签

#deep-learning#inference#gpu-acceleration#onnx#cuda#model-optimization#nvidia#tensorrt

常见问题

TensorRT 是什么？
NVIDIA TensorRT 的开源部分，用于在 NVIDIA GPU 上高性能运行深度学习推理，包含插件、ONNX 解析器和示例。 TensorRT 是 NVIDIA 推出的 SDK，用于在 NVIDIA GPU 上运行深度学习模型推理。本仓库包含 TensorRT 发布版中开源的部分，即插件和 ONNX 解析器的源码，以及演示平台用法的示例应用。闭源的运行时和库来自正式发布版，本仓库基于其进行编译。
TensorRT 可以免费使用吗？用的什么许可证？
TensorRT 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
TensorRT 还在维护吗？
活跃维护中。TensorRT 最近一次提交是在 2026年10月9日。
TensorRT 适合用来做什么？
在 NVIDIA GPU 上部署深度学习模型，实现低延迟推理。 将 ONNX 或 PyTorch 模型转换为优化后的 TensorRT 引擎。 为原生不支持的网络层开发自定义 TensorRT 插件。 在 Jetson 或 DriveOS 等嵌入式设备上运行推理。
TensorRT 怎么安装和运行？
安装预编译的 TensorRT Python 包: pip install tensorrt
在哪里获取 TensorRT？
源代码和安装说明在 GitHub 上：https://github.com/NVIDIA/TensorRT

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目