Repolode
Предложить
triton-inference-server

triton-inference-server/tensorrtllm_backend

Бэкенд Triton Inference Server для запуска TensorRT-LLM и совместимых с HuggingFace LLM через HTTP- и gRPC API Triton.

Открыть на GitHub
Звёзды
944
Форки
145
Открытые issues
344
Последний коммит
5 дней назад

Что это?

TensorRT-LLM Backend связывает библиотеку инференса TensorRT-LLM от NVIDIA с Triton Inference Server, позволяя развертывать LLM и отправлять им запросы через стандартный репозиторий моделей и эндпоинты инференса Triton. В проект входит реализация inflight batching на C++, поддерживающая paged attention, а также вариант на базе PyTorch и LLM API, который позволяет запускать модели HuggingFace без предварительной компиляции движка.

Поведение модели настраивается в файле model.yaml: его ключи соответствуют аргументам конструктора LLM() и задают параметры KV cache, квантования, а также tensor, pipeline и expert parallelism. Запрос можно отменить во время генерации, повторно использовав его ID и указав флаг остановки. В проекте также описаны режимы leader и orchestrator для нескольких GPU, скрипты запуска для Slurm и метрики в стиле Prometheus с префиксом nv_trt_llm_.

Исходный код бэкенда перенесен в каталог triton_backend репозитория TensorRT-LLM. Теперь этот репозиторий служит точкой входа и центром документации по его развертыванию.

Ключевые возможности

  • 01Запускает движки TensorRT-LLM и модели HuggingFace через HTTP- и gRPC-эндпоинты Triton.
  • 02Реализует inflight batching и paged attention в бэкенде на C++.
  • 03Позволяет настраивать KV cache, квантование и параллелизм через файл model.yaml.
  • 04Поддерживает tensor, pipeline и expert parallelism для крупных моделей.
  • 05Позволяет отменять выполняющиеся запросы на генерацию по ID запроса.
  • 06Публикует статистику TRT-LLM batch manager на эндпоинте метрик Triton.

Сценарии использования

  • Развертывание крупной LLM на нескольких GPU NVIDIA или узлах с доступом через эндпоинт Triton.
  • Запуск нескольких моделей на одном сервере Triton с общим репозиторием моделей.
  • Измерение задержки и пропускной способности TensorRT-LLM с помощью входящих в проект скриптов.
  • Запуск инференса Triton в GPU-кластерах под управлением Slurm.

Быстрый старт

  1. 1

    Запустите контейнер NVIDIA Triton TensorRT-LLM

    docker run --rm -it --net host --shm-size=2g --ulimit memlock=-1 --gpus all -v ~/.cache/huggingface:/root/.cache/huggingface nvcr.io/nvidia/tritonserver:25.12-trtllm-python-py3 bash
  2. 2

    Клонируйте репозиторий TensorRT-LLM и укажите модель в model.yaml

    git clone https://github.com/NVIDIA/TensorRT-LLM.git
  3. 3

    Запустите сервер Triton из родительского каталога клонированного репозитория

    python3 TensorRT-LLM/triton_backend/scripts/launch_triton_server.py --model_repo=TensorRT-LLM/triton_backend/all_models/llmapi/

Что важно знать

  • Требуются графические процессоры NVIDIA и стек TensorRT-LLM, поэтому на обычном оборудовании проект не запустится.
  • Для настройки нужны большой образ контейнера NVIDIA и Docker с поддержкой GPU.
  • Для моделей с ограниченным доступом, таких как Llama, требуется токен HuggingFace.

В подборках

Запуск LLM локальноОбучение и запуск ИИ на GPU

Темы

#llm-inference#tensorrt#nvidia#triton-inference-server#gpu#model-serving#inference-optimization

Частые вопросы

Что такое tensorrtllm_backend?
Бэкенд Triton Inference Server для запуска TensorRT-LLM и совместимых с HuggingFace LLM через HTTP- и gRPC API Triton. TensorRT-LLM Backend связывает библиотеку инференса TensorRT-LLM от NVIDIA с Triton Inference Server, позволяя развертывать LLM и отправлять им запросы через стандартный репозиторий моделей и эндпоинты инференса Triton. В проект входит реализация inflight batching на C++, поддерживающая paged attention, а также вариант на базе PyTorch и LLM API, который позволяет запускать модели HuggingFace без предварительной компиляции движка.
tensorrtllm_backend можно использовать бесплатно? Какая у него лицензия?
tensorrtllm_backend распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
tensorrtllm_backend всё ещё поддерживается?
Активно поддерживается. Последний коммит в tensorrtllm_backend — 2 нояб. 2026 г..
Для чего можно использовать tensorrtllm_backend?
Развертывание крупной LLM на нескольких GPU NVIDIA или узлах с доступом через эндпоинт Triton. Запуск нескольких моделей на одном сервере Triton с общим репозиторием моделей. Измерение задержки и пропускной способности TensorRT-LLM с помощью входящих в проект скриптов. Запуск инференса Triton в GPU-кластерах под управлением Slurm.
Как установить tensorrtllm_backend?
Запустите контейнер NVIDIA Triton TensorRT-LLM: docker run --rm -it --net host --shm-size=2g --ulimit memlock=-1 --gpus all -v ~/.cache/huggingface:/root/.cache/huggingface nvcr.io/nvidia/tritonserver:25.12-trtllm-python-py3 bash Клонируйте репозиторий TensorRT-LLM и укажите модель в model.yaml: git clone https://github.com/NVIDIA/TensorRT-LLM.git Запустите сервер Triton из родительского каталога клонированного репозитория: python3 TensorRT-LLM/triton_backend/scripts/launch_triton_server.py --model_repo=TensorRT-LLM/triton_backend/all_models/llmapi/
Где скачать tensorrtllm_backend?
Исходный код и инструкции по установке — на GitHub: https://github.com/triton-inference-server/tensorrtllm_backend

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты