triton-inference-server/server

어떤 프로젝트인가요?

핵심 기능

• 01TensorRT, PyTorch, ONNX, OpenVINO, Python 및 기타 프레임워크의 모델을 서비스합니다.
• 02상태 저장 모델을 위한 동적 배칭 및 시퀀스 배칭을 지원합니다.
• 03GPU와 CPU에서 모델을 동시에 실행합니다.
• 04KServe v2 프로토콜을 따르는 HTTP/REST 및 gRPC 엔드포인트를 제공합니다.
• 05여러 모델로 구성된 파이프라인을 위해 모델 앙상블과 Business Logic Scripting을 지원합니다.
• 06C/C++ 또는 Python으로 커스텀 백엔드를 작성할 수 있고, 프로세스 내 사용을 위한 C 및 Java API를 제공합니다.
• 07GPU 사용률, 처리량, 지연 시간 메트릭을 제공합니다.

활용 사례

• 여러 프레임워크로 학습한 모델의 프로덕션 추론 엔드포인트를 서비스합니다.
• 전처리, 추론, 후처리를 연결하는 다중 모델 파이프라인을 실행합니다.
• GPU 또는 CPU 하드웨어를 갖춘 Kubernetes 환경이나 엣지 디바이스에 모델을 배포합니다.
• C++ 또는 Java 애플리케이션에 모델 추론을 직접 임베드합니다.

빠른 시작

1. 1

   저장소를 클론하고 예제 모델을 가져옵니다

   git clone -b r26.09 https://github.com/triton-inference-server/server.git
2. 2

   NGC Triton 컨테이너에서 Triton을 실행합니다

   docker run --gpus=1 --rm --net=host -v ${PWD}/model_repository:/models nvcr.io/nvidia/tritonserver:26.09-py3 tritonserver --model-repository=/models --model-control-mode explicit --load-model densenet_onnx
3. 3

   NGC Triton SDK 컨테이너의 image_client 예제를 사용해 추론 요청을 보냅니다

   docker run -it --rm --net=host nvcr.io/nvidia/tritonserver:26.09-py3-sdk /workspace/install/bin/image_client -m densenet_onnx -c 3 -s INCEPTION /workspace/images/mug.jpg

사용 전 알아둘 점

• !퀵 스타트의 기본 예제를 실행하려면 NVIDIA GPU가 필요하며, CPU만 사용하는 방법은 별도로 문서화되어 있습니다.
• !README에는 main 브랜치가 개발 중이라고 나와 있습니다. 안정 버전은 2.73.0입니다.
• !NVIDIA Docker 컨테이너를 통한 배포가 권장되므로, 가장 간편하게 설정하려면 Docker가 필요합니다.

토픽

자주 묻는 질문

server은(는) 무엇인가요?

TensorRT, PyTorch, ONNX, OpenVINO 등 다양한 프레임워크의 AI 모델을 HTTP/REST와 gRPC로 배포하는 오픈소스 추론 서버입니다. Triton Inference Server는 AI 모델을 서비스하는 오픈소스 시스템입니다. 팀은 TensorRT, PyTorch, ONNX, OpenVINO, Python 등 여러 프레임워크의 모델을 단일 서버를 통해 배포할 수 있습니다. NVIDIA GPU, x86 및 ARM CPU, AWS Inferentia를 지원해 클라우드, 데이터 센터, 엣지 및 임베디드 디바이스에서 실행할 수 있습니다.

server은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

server은(는) BSD-3-Clause 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

server은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. server의 마지막 커밋은 2026년 10월 22일입니다.

server은(는) 어디에 사용할 수 있나요?

여러 프레임워크로 학습한 모델의 프로덕션 추론 엔드포인트를 서비스합니다. 전처리, 추론, 후처리를 연결하는 다중 모델 파이프라인을 실행합니다. GPU 또는 CPU 하드웨어를 갖춘 Kubernetes 환경이나 엣지 디바이스에 모델을 배포합니다. C++ 또는 Java 애플리케이션에 모델 추론을 직접 임베드합니다.

server는 어떻게 설치하나요?

저장소를 클론하고 예제 모델을 가져옵니다: git clone -b r26.09 https://github.com/triton-inference-server/server.git NGC Triton 컨테이너에서 Triton을 실행합니다: docker run --gpus=1 --rm --net=host -v ${PWD}/model_repository:/models nvcr.io/nvidia/tritonserver:26.09-py3 tritonserver --model-repository=/models --model-control-mode explicit --load-model densenet_onnx NGC Triton SDK 컨테이너의 image_client 예제를 사용해 추론 요청을 보냅니다: docker run -it --rm --net=host nvcr.io/nvidia/tritonserver:26.09-py3-sdk /workspace/install/bin/image_client -m densenet_onnx -c 3 -s INCEPTION /workspace/images/mug.jpg

server은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/triton-inference-server/server