triton-inference-server/tensorrtllm_backend

这是什么？

核心功能

• 01通过 Triton 的 HTTP 和 gRPC 接口提供 TensorRT-LLM 引擎与 HuggingFace 模型的推理服务。
• 02在 C++ 后端中实现 inflight batching 与 paged attention。
• 03通过 model.yaml 配置 KV cache、量化和并行策略。
• 04支持张量并行、流水线并行和专家并行，适用于大模型部署。
• 05可按请求 ID 取消正在进行的生成请求。
• 06在 Triton 指标接口中输出 TensorRT-LLM 批处理管理器的统计信息。

适用场景

• 在多张 NVIDIA GPU 或多节点上部署大模型，并通过 Triton 对外提供服务。
• 在同一个 Triton 服务中通过共享模型仓库部署多个模型。
• 使用自带脚本对 TensorRT-LLM 核心模型的延迟和吞吐进行基准测试。
• 在 Slurm 管理的 GPU 集群中运行 Triton 推理服务。

快速上手

1. 1

   启动 NVIDIA Triton TensorRT-LLM 容器

   docker run --rm -it --net host --shm-size=2g --ulimit memlock=-1 --gpus all -v ~/.cache/huggingface:/root/.cache/huggingface nvcr.io/nvidia/tritonserver:25.12-trtllm-python-py3 bash
2. 2

   克隆 TensorRT-LLM 仓库并在 model.yaml 中设置模型

   git clone https://github.com/NVIDIA/TensorRT-LLM.git
3. 3

   在克隆目录的上一级目录中启动 Triton 服务器

   python3 TensorRT-LLM/triton_backend/scripts/launch_triton_server.py --model_repo=TensorRT-LLM/triton_backend/all_models/llmapi/

使用前须知

• !需要 NVIDIA GPU 和 TensorRT-LLM 运行环境，无法在普通硬件上运行。
• !部署依赖体积较大的 NVIDIA 容器镜像以及支持 GPU 的 Docker。
• !Llama 等受限模型需要先设置 HuggingFace 令牌。

收录于专题

标签

常见问题

tensorrtllm_backend 是什么？

让 Triton Inference Server 通过 HTTP/gRPC 提供 TensorRT-LLM 大模型推理服务的后端。 TensorRT-LLM Backend 把 NVIDIA 的 TensorRT-LLM 推理库接入 Triton Inference Server，使大语言模型可以沿用 Triton 的模型仓库结构和推理接口进行部署与调用。项目包含支持 inflight batching 与 paged attention 的 C++ 实现，也提供基于 LLM API 的 PyTorch 路径，可直接加载 HuggingFace 模型，无需先编译引擎。

tensorrtllm_backend 可以免费使用吗？用的什么许可证？

tensorrtllm_backend 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

tensorrtllm_backend 还在维护吗？

活跃维护中。tensorrtllm_backend 最近一次提交是在 2026年11月2日。

tensorrtllm_backend 适合用来做什么？

在多张 NVIDIA GPU 或多节点上部署大模型，并通过 Triton 对外提供服务。 在同一个 Triton 服务中通过共享模型仓库部署多个模型。 使用自带脚本对 TensorRT-LLM 核心模型的延迟和吞吐进行基准测试。 在 Slurm 管理的 GPU 集群中运行 Triton 推理服务。

tensorrtllm_backend 怎么安装和运行？

启动 NVIDIA Triton TensorRT-LLM 容器: docker run --rm -it --net host --shm-size=2g --ulimit memlock=-1 --gpus all -v ~/.cache/huggingface:/root/.cache/huggingface nvcr.io/nvidia/tritonserver:25.12-trtllm-python-py3 bash 克隆 TensorRT-LLM 仓库并在 model.yaml 中设置模型: git clone https://github.com/NVIDIA/TensorRT-LLM.git 在克隆目录的上一级目录中启动 Triton 服务器: python3 TensorRT-LLM/triton_backend/scripts/launch_triton_server.py --model_repo=TensorRT-LLM/triton_backend/all_models/llmapi/

在哪里获取 tensorrtllm_backend？

源代码和安装说明在 GitHub 上：https://github.com/triton-inference-server/tensorrtllm_backend