server 可以免费使用吗？用的什么许可证？

server 以 BSD-3-Clause 许可证开源。用于商业产品前，请先确认许可证条款。

server 还在维护吗？

活跃维护中。server 最近一次提交是在 2026年10月22日。

server 适合用来做什么？

为使用多种框架训练的模型提供生产环境推理接口。构建串联预处理、推理和后处理的多模型流水线。在 Kubernetes 或边缘设备上部署基于 GPU 或 CPU 的模型服务。将模型推理直接嵌入 C++ 或 Java 应用中。

server 怎么安装和运行？

克隆仓库并获取示例模型: git clone -b r26.09 https://github.com/triton-inference-server/server.git 从 NGC Triton 容器启动 Triton: docker run --gpus=1 --rm --net=host -v ${PWD}/model_repository:/models nvcr.io/nvidia/tritonserver:26.09-py3 tritonserver --model-repository=/models --model-control-mode explicit --load-model densenet_onnx 使用 NGC Triton SDK 容器中的 image_client 示例发送推理请求: docker run -it --rm --net=host nvcr.io/nvidia/tritonserver:26.09-py3-sdk /workspace/install/bin/image_client -m densenet_onnx -c 3 -s INCEPTION /workspace/images/mug.jpg

在哪里获取 server？

源代码和安装说明在 GitHub 上：https://github.com/triton-inference-server/server

triton-inference-server/server

开源推理服务器，通过 HTTP/REST 和 gRPC 部署 TensorRT、PyTorch、ONNX 等多种框架的模型。

在 GitHub 查看官网

Star: 11,103
Fork: 1,861
未关闭 Issue: 908
最近提交: 7小时前

这是什么？

Triton Inference Server 是一个开源的 AI 模型推理服务系统，可以在同一台服务器上部署来自 TensorRT、PyTorch、ONNX、OpenVINO、Python 等多种框架的模型。它支持 NVIDIA GPU、x86 和 ARM CPU 以及 AWS Inferentia，适用于云端、数据中心、边缘和嵌入式设备。

服务通过 HTTP/REST 和 gRPC 对外提供接口，遵循 KServe v2 协议。它支持动态批处理、面向有状态模型的序列批处理、模型并发执行，以及用于多步骤流程的模型集成（ensemble）和业务逻辑脚本（BLS）。开发者可以用 C/C++ 或 Python 编写自定义后端，也可以通过 C 和 Java API 将 Triton 直接嵌入应用进程。

Triton 提供 GPU 利用率、吞吐量和延迟等指标。推荐使用 Docker 镜像构建和运行，同时附有 Kubernetes 和 Helm 的部署示例。

核心功能

01支持 TensorRT、PyTorch、ONNX、OpenVINO、Python 等多种框架的模型。
02提供动态批处理，并支持有状态模型的序列批处理。
03支持模型在 GPU 和 CPU 上并发执行。
04通过 HTTP/REST 和 gRPC 提供遵循 KServe v2 协议的接口。
05支持模型集成和业务逻辑脚本，用于组合多模型流程。
06可用 C/C++ 或 Python 编写自定义后端，并提供 C 和 Java API 进行进程内集成。
07输出 GPU 利用率、吞吐量和延迟等监控指标。

适用场景

为使用多种框架训练的模型提供生产环境推理接口。
构建串联预处理、推理和后处理的多模型流水线。
在 Kubernetes 或边缘设备上部署基于 GPU 或 CPU 的模型服务。
将模型推理直接嵌入 C++ 或 Java 应用中。

快速上手

1
克隆仓库并获取示例模型
git clone -b r26.09 https://github.com/triton-inference-server/server.git
2
从 NGC Triton 容器启动 Triton
docker run --gpus=1 --rm --net=host -v ${PWD}/model_repository:/models nvcr.io/nvidia/tritonserver:26.09-py3 tritonserver --model-repository=/models --model-control-mode explicit --load-model densenet_onnx
3
使用 NGC Triton SDK 容器中的 image_client 示例发送推理请求
docker run -it --rm --net=host nvcr.io/nvidia/tritonserver:26.09-py3-sdk /workspace/install/bin/image_client -m densenet_onnx -c 3 -s INCEPTION /workspace/images/mug.jpg

使用前须知

快速入门的主要示例需要 NVIDIA GPU，仅 CPU 的运行方式需另行参考文档。
README 称 main 分支仍在开发中，稳定版本为 2.73.0。
推荐通过 NVIDIA 的 Docker 容器部署，因此最简便的安装需要 Docker。

常见问题

server 是什么？: 开源推理服务器，通过 HTTP/REST 和 gRPC 部署 TensorRT、PyTorch、ONNX 等多种框架的模型。 Triton Inference Server 是一个开源的 AI 模型推理服务系统，可以在同一台服务器上部署来自 TensorRT、PyTorch、ONNX、OpenVINO、Python 等多种框架的模型。它支持 NVIDIA GPU、x86 和 ARM CPU 以及 AWS Inferentia，适用于云端、数据中心、边缘和嵌入式设备。
server 可以免费使用吗？用的什么许可证？: server 以 BSD-3-Clause 许可证开源。用于商业产品前，请先确认许可证条款。
server 还在维护吗？: 活跃维护中。server 最近一次提交是在 2026年10月22日。
server 适合用来做什么？: 为使用多种框架训练的模型提供生产环境推理接口。构建串联预处理、推理和后处理的多模型流水线。在 Kubernetes 或边缘设备上部署基于 GPU 或 CPU 的模型服务。将模型推理直接嵌入 C++ 或 Java 应用中。
server 怎么安装和运行？: 克隆仓库并获取示例模型: git clone -b r26.09 https://github.com/triton-inference-server/server.git 从 NGC Triton 容器启动 Triton: docker run --gpus=1 --rm --net=host -v ${PWD}/model_repository:/models nvcr.io/nvidia/tritonserver:26.09-py3 tritonserver --model-repository=/models --model-control-mode explicit --load-model densenet_onnx 使用 NGC Triton SDK 容器中的 image_client 示例发送推理请求: docker run -it --rm --net=host nvcr.io/nvidia/tritonserver:26.09-py3-sdk /workspace/install/bin/image_client -m densenet_onnx -c 3 -s INCEPTION /workspace/images/mug.jpg
在哪里获取 server？: 源代码和安装说明在 GitHub 上：https://github.com/triton-inference-server/server

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。