TensorRT-LLM 可以免费使用吗？用的什么许可证？

TensorRT-LLM 以 Other 许可证开源。用于商业产品前，请先确认许可证条款。

TensorRT-LLM 还在维护吗？

活跃维护中。TensorRT-LLM 最近一次提交是在 2026年10月24日。

TensorRT-LLM 适合用来做什么？

在 NVIDIA 数据中心 GPU 上以低延迟、高吞吐部署大语言模型在 Blackwell 硬件上部署 FP8、FP4 等量化模型为混合专家（MoE）模型运行多卡或多机推理在 NVIDIA GPU 上加速视觉生成模型

在哪里获取 TensorRT-LLM？

源代码和安装说明在 GitHub 上：https://github.com/NVIDIA/TensorRT-LLM

NVIDIA/TensorRT-LLM

NVIDIA 开源的推理优化库，用于在 NVIDIA GPU 上高效运行大语言模型和视觉生成模型。

在 GitHub 查看官网

Star: 14,937
Fork: 2,862
未关闭 Issue: 1,789
最近提交: 10小时前

这是什么？

TensorRT LLM 是一个在 NVIDIA GPU 上高效运行大语言模型推理的库。它提供用于定义 LLM 的 Python API，针对注意力、GEMM、MoE 等常见算子的定制内核，以及用 Python 和 C++ 编排推理执行的运行时组件。

项目支持单卡、多卡和多机部署，涵盖多种并行策略，并支持 Prefill-Decode 分离、大规模专家并行和投机解码等特性。它可与 NVIDIA Dynamo 和 Triton Inference Server 集成。其基于 PyTorch 的架构允许开发者修改运行时，或用 PyTorch 代码定制内置模型。

仓库同时支持视觉生成（扩散）模型。默认会收集匿名遥测数据，可通过环境变量、配置文件、Python API 或命令行参数关闭。

核心功能

01针对注意力、GEMM 和 MoE 等操作的 NVIDIA GPU 定制内核
02从单卡到多机的 Python LLM API
03支持专家并行与 Prefill-Decode 分离等并行方案
04提供投机解码等运行时优化
05基于 PyTorch 原生架构，便于修改模型和运行时
06可与 NVIDIA Dynamo 及 Triton Inference Server 集成

适用场景

在 NVIDIA 数据中心 GPU 上以低延迟、高吞吐部署大语言模型
在 Blackwell 硬件上部署 FP8、FP4 等量化模型
为混合专家（MoE）模型运行多卡或多机推理
在 NVIDIA GPU 上加速视觉生成模型

使用前须知

需要 NVIDIA GPU，无法在其他硬件上运行。
许可证元数据显示为 NOASSERTION，但 README 徽章标明为 Apache 2，使用前请自行核实许可证。
当前版本为候选发布版（1.4.0rc2），API 可能会变化。

收录于专题

本地运行大模型 GPU 加速的 AI 训练与推理工具

常见问题

TensorRT-LLM 是什么？: NVIDIA 开源的推理优化库，用于在 NVIDIA GPU 上高效运行大语言模型和视觉生成模型。 TensorRT LLM 是一个在 NVIDIA GPU 上高效运行大语言模型推理的库。它提供用于定义 LLM 的 Python API，针对注意力、GEMM、MoE 等常见算子的定制内核，以及用 Python 和 C++ 编排推理执行的运行时组件。
TensorRT-LLM 可以免费使用吗？用的什么许可证？: TensorRT-LLM 以 Other 许可证开源。用于商业产品前，请先确认许可证条款。
TensorRT-LLM 还在维护吗？: 活跃维护中。TensorRT-LLM 最近一次提交是在 2026年10月24日。
TensorRT-LLM 适合用来做什么？: 在 NVIDIA 数据中心 GPU 上以低延迟、高吞吐部署大语言模型在 Blackwell 硬件上部署 FP8、FP4 等量化模型为混合专家（MoE）模型运行多卡或多机推理在 NVIDIA GPU 上加速视觉生成模型
在哪里获取 TensorRT-LLM？: 源代码和安装说明在 GitHub 上：https://github.com/NVIDIA/TensorRT-LLM

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。