NVIDIA/TensorRT

Что это?

Ключевые возможности

• 01Исходный код открытых плагинов и ONNX-парсера для TensorRT.
• 02Примеры приложений, демонстрирующие использование TensorRT.
• 03Сборка для Linux (x86-64, aarch64) и Windows с помощью CMake.
• 04Контейнеры Docker для воспроизводимой сборки под Linux.
• 05Python-пакет, который можно установить через pip.
• 06Инструментарий для кросс-компиляции под Jetson и DriveOS.

Сценарии использования

• Развёртывание моделей глубокого обучения для инференса с низкой задержкой на GPU NVIDIA.
• Преобразование моделей ONNX или PyTorch в оптимизированные TensorRT engines.
• Создание собственных плагинов TensorRT для слоёв, которые не поддерживаются из коробки.
• Запуск инференса на встраиваемых устройствах Jetson или DriveOS.

Быстрый старт

1. 1

   Установите предварительно собранный пакет TensorRT для Python

   pip install tensorrt

Что важно знать

• !Требуется графический процессор NVIDIA с установленной CUDA.
• !Репозиторий с открытым исходным кодом представляет собой подмножество релиза TensorRT GA; для полноценной нативной сборки потребуется отдельная сборка TensorRT.
• !Для сборки из исходного кода требуются значительные системные зависимости, такие как CUDA, cuDNN и библиотеки TensorRT GA.

Темы

Частые вопросы

Что такое TensorRT?

Открытые компоненты NVIDIA TensorRT — SDK для высокопроизводительного инференса моделей глубокого обучения на GPU NVIDIA: плагины, ONNX-парсер и примеры. TensorRT — это SDK NVIDIA для инференса моделей глубокого обучения на GPU NVIDIA. В этом репозитории находится открытая часть релиза TensorRT: исходный код плагинов и ONNX-парсера, а также примеры приложений, показывающие, как пользоваться платформой. Runtime и библиотека с закрытым исходным кодом поставляются в составе релиза general availability, под который собирается этот репозиторий.

TensorRT можно использовать бесплатно? Какая у него лицензия?

TensorRT распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

TensorRT всё ещё поддерживается?

Активно поддерживается. Последний коммит в TensorRT — 9 окт. 2026 г..

Для чего можно использовать TensorRT?

Развёртывание моделей глубокого обучения для инференса с низкой задержкой на GPU NVIDIA. Преобразование моделей ONNX или PyTorch в оптимизированные TensorRT engines. Создание собственных плагинов TensorRT для слоёв, которые не поддерживаются из коробки. Запуск инференса на встраиваемых устройствах Jetson или DriveOS.

Как установить TensorRT?

Установите предварительно собранный пакет TensorRT для Python: pip install tensorrt

Где скачать TensorRT?

Исходный код и инструкции по установке — на GitHub: https://github.com/NVIDIA/TensorRT