triton-inference-server/server

Что это?

Ключевые возможности

• 01Обслуживает модели из TensorRT, PyTorch, ONNX, OpenVINO, Python и других фреймворков.
• 02Динамическая пакетная обработка и пакетная обработка последовательностей для моделей с состоянием.
• 03Параллельное выполнение моделей на GPU и CPU.
• 04Эндпоинты HTTP/REST и gRPC с поддержкой протокола KServe v2.
• 05Ансамбли моделей и Business Logic Scripting для конвейеров из нескольких моделей.
• 06Пользовательские бэкенды на C/C++ или Python, а также API для C и Java для встраивания в приложение.
• 07Метрики использования GPU, пропускной способности и задержки.

Сценарии использования

• Создание производственных эндпоинтов инференса для моделей, обученных с помощью разных фреймворков.
• Запуск конвейеров из нескольких моделей, объединяющих предварительную обработку, инференс и постобработку.
• Развертывание моделей в Kubernetes или на периферийных устройствах с GPU или CPU.
• Встраивание инференса моделей непосредственно в приложение на C++ или Java.

Быстрый старт

1. 1

   Клонируйте репозиторий и загрузите примеры моделей

   git clone -b r26.09 https://github.com/triton-inference-server/server.git
2. 2

   Запустите Triton из контейнера NGC Triton

   docker run --gpus=1 --rm --net=host -v ${PWD}/model_repository:/models nvcr.io/nvidia/tritonserver:26.09-py3 tritonserver --model-repository=/models --model-control-mode explicit --load-model densenet_onnx
3. 3

   Отправьте запрос на инференс с помощью примера image_client из контейнера NGC Triton SDK

   docker run -it --rm --net=host nvcr.io/nvidia/tritonserver:26.09-py3-sdk /workspace/install/bin/image_client -m densenet_onnx -c 3 -s INCEPTION /workspace/images/mug.jpg

Что важно знать

• !Для запуска основного примера из краткого руководства требуется GPU NVIDIA; вариант только с CPU описан отдельно.
• !В README указано, что ветка main находится в разработке; стабильная версия — 2.73.0.
• !Рекомендуется развертывать приложение с помощью Docker-контейнеров NVIDIA, поэтому для самой простой настройки потребуется Docker.

Темы

Частые вопросы

Что такое server?

Открытый сервер инференса для развертывания моделей ИИ из TensorRT, PyTorch, ONNX, OpenVINO и других фреймворков через HTTP/REST и gRPC. Triton Inference Server — это система с открытым исходным кодом для развертывания моделей ИИ. Она позволяет командам запускать модели из разных фреймворков, включая TensorRT, PyTorch, ONNX, OpenVINO и Python, через единый сервер. Поддерживаются NVIDIA GPU, процессоры x86 и ARM, а также AWS Inferentia — в облаке, дата-центрах, на периферийных и встроенных устройствах.

server можно использовать бесплатно? Какая у него лицензия?

server распространяется с открытым исходным кодом под лицензией BSD-3-Clause. Перед использованием в коммерческих продуктах проверьте условия лицензии.

server всё ещё поддерживается?

Активно поддерживается. Последний коммит в server — 22 окт. 2026 г..

Для чего можно использовать server?

Создание производственных эндпоинтов инференса для моделей, обученных с помощью разных фреймворков. Запуск конвейеров из нескольких моделей, объединяющих предварительную обработку, инференс и постобработку. Развертывание моделей в Kubernetes или на периферийных устройствах с GPU или CPU. Встраивание инференса моделей непосредственно в приложение на C++ или Java.

Как установить server?

Клонируйте репозиторий и загрузите примеры моделей: git clone -b r26.09 https://github.com/triton-inference-server/server.git Запустите Triton из контейнера NGC Triton: docker run --gpus=1 --rm --net=host -v ${PWD}/model_repository:/models nvcr.io/nvidia/tritonserver:26.09-py3 tritonserver --model-repository=/models --model-control-mode explicit --load-model densenet_onnx Отправьте запрос на инференс с помощью примера image_client из контейнера NGC Triton SDK: docker run -it --rm --net=host nvcr.io/nvidia/tritonserver:26.09-py3-sdk /workspace/install/bin/image_client -m densenet_onnx -c 3 -s INCEPTION /workspace/images/mug.jpg

Где скачать server?

Исходный код и инструкции по установке — на GitHub: https://github.com/triton-inference-server/server