triton-inference-server/tensorrtllm_backend

어떤 프로젝트인가요?

핵심 기능

• 01Triton의 HTTP 및 gRPC 엔드포인트를 통해 TensorRT-LLM 엔진과 HuggingFace 모델을 서빙합니다.
• 02C++ 백엔드에서 inflight batching과 paged attention을 구현합니다.
• 03model.yaml 파일을 통해 KV cache, 양자화, 병렬 처리 방식을 설정합니다.
• 04대규모 모델을 위한 텐서·파이프라인·전문가 병렬 처리를 지원합니다.
• 05요청 ID를 사용해 진행 중인 생성 요청을 취소할 수 있습니다.
• 06Triton의 메트릭 엔드포인트에서 TRT-LLM 배치 관리자 통계를 제공합니다.

활용 사례

• Triton 엔드포인트 뒤에서 여러 NVIDIA GPU 또는 노드에 대규모 LLM을 배포하는 경우.
• 공유 모델 저장소를 사용해 하나의 Triton 서버에서 여러 모델을 서빙하는 경우.
• 함께 제공되는 스크립트로 TensorRT-LLM의 기본 지연 시간과 처리량을 벤치마킹하는 경우.
• Slurm으로 관리되는 GPU 클러스터에서 Triton 추론을 실행하는 경우.

빠른 시작

1. 1

   NVIDIA Triton TensorRT-LLM 컨테이너를 실행합니다

   docker run --rm -it --net host --shm-size=2g --ulimit memlock=-1 --gpus all -v ~/.cache/huggingface:/root/.cache/huggingface nvcr.io/nvidia/tritonserver:25.12-trtllm-python-py3 bash
2. 2

   TensorRT-LLM 리포지토리를 클론하고 model.yaml에서 모델을 설정합니다

   git clone https://github.com/NVIDIA/TensorRT-LLM.git
3. 3

   클론한 리포지토리의 상위 디렉터리에서 Triton 서버를 실행합니다

   python3 TensorRT-LLM/triton_backend/scripts/launch_triton_server.py --model_repo=TensorRT-LLM/triton_backend/all_models/llmapi/

사용 전 알아둘 점

• !NVIDIA GPU와 TensorRT-LLM 스택이 필요하므로 일반 하드웨어에서는 실행할 수 없습니다.
• !설정에 대용량 NVIDIA 컨테이너 이미지와 GPU 지원 Docker가 필요합니다.
• !Llama와 같은 접근 제한 모델에는 HuggingFace 토큰이 필요합니다.

포함된 컬렉션

토픽

자주 묻는 질문

tensorrtllm_backend은(는) 무엇인가요?

Triton의 HTTP 및 gRPC API를 통해 TensorRT-LLM과 HuggingFace 호환 LLM을 서빙하는 Triton Inference Server 백엔드입니다. TensorRT-LLM Backend는 NVIDIA의 TensorRT-LLM 추론 라이브러리를 Triton Inference Server에 연결해, Tritin의 표준 모델 저장소와 추론 엔드포인트를 통해 LLM을 배포하고 요청할 수 있게 합니다. paged attention을 지원하는 inflight batching C++ 구현과, 엔진을 미리 컴파일하지 않고도 HuggingFace 모델을 서빙할 수 있는 LLM API 기반 PyTorch 경로를 포함합니다.

tensorrtllm_backend은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

tensorrtllm_backend은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

tensorrtllm_backend은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. tensorrtllm_backend의 마지막 커밋은 2026년 11월 2일입니다.

tensorrtllm_backend은(는) 어디에 사용할 수 있나요?

Triton 엔드포인트 뒤에서 여러 NVIDIA GPU 또는 노드에 대규모 LLM을 배포하는 경우. 공유 모델 저장소를 사용해 하나의 Triton 서버에서 여러 모델을 서빙하는 경우. 함께 제공되는 스크립트로 TensorRT-LLM의 기본 지연 시간과 처리량을 벤치마킹하는 경우. Slurm으로 관리되는 GPU 클러스터에서 Triton 추론을 실행하는 경우.

tensorrtllm_backend는 어떻게 설치하나요?

NVIDIA Triton TensorRT-LLM 컨테이너를 실행합니다: docker run --rm -it --net host --shm-size=2g --ulimit memlock=-1 --gpus all -v ~/.cache/huggingface:/root/.cache/huggingface nvcr.io/nvidia/tritonserver:25.12-trtllm-python-py3 bash TensorRT-LLM 리포지토리를 클론하고 model.yaml에서 모델을 설정합니다: git clone https://github.com/NVIDIA/TensorRT-LLM.git 클론한 리포지토리의 상위 디렉터리에서 Triton 서버를 실행합니다: python3 TensorRT-LLM/triton_backend/scripts/launch_triton_server.py --model_repo=TensorRT-LLM/triton_backend/all_models/llmapi/

tensorrtllm_backend은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/triton-inference-server/tensorrtllm_backend