Repolode
제출하기
NVIDIA

NVIDIA/TensorRT

NVIDIA GPU에서 딥러닝 추론 성능을 높여 주는 SDK, TensorRT의 오픈 소스 구성 요소로 플러그인, ONNX 파서, 샘플을 포함합니다.

GitHub에서 보기웹사이트
스타
13,411
포크
2,412
열린 이슈
668
마지막 커밋
13일 전

어떤 프로젝트인가요?

TensorRT는 NVIDIA GPU에서 딥러닝 모델을 추론하는 데 사용하는 NVIDIA SDK입니다. 이 저장소에는 TensorRT 릴리스의 오픈 소스 하위 집합인 플러그인과 ONNX 파서의 소스 코드, 플랫폼 사용법을 보여 주는 샘플 애플리케이션이 들어 있습니다. 비공개 런타임과 라이브러리는 일반 공급 릴리스에서 제공되며, 이 저장소는 해당 구성 요소를 대상으로 빌드됩니다.

이 프로젝트는 CMake를 빌드 시스템으로 사용하며 Linux(x86-64, aarch64, Jetson 및 DriveOS 크로스 컴파일 포함)와 Windows용 빌드를 지원합니다. Linux에서는 Docker를 사용하는 컨테이너 기반 빌드 워크플로를 제공합니다. 소스에서 빌드하지 않고 Python 바인딩을 설치할 수 있도록 pip 패키지 tensorrt도 제공됩니다.

또한 저장소에는 ONNX, Torch-TensorRT, HuggingFace/Optimum, Network Definition API 등의 모델 가져오기 경로와 LLM, NLP 인코더, 비전, 오디오, diffusion, 멀티모달 모델을 아우르는 모델별 지원 매트릭스가 문서화되어 있습니다.

핵심 기능

  • 01TensorRT 플러그인 및 ONNX 파서의 오픈 소스 코드.
  • 02TensorRT 사용법을 보여 주는 샘플 애플리케이션.
  • 03CMake를 사용한 Linux(x86-64, aarch64) 및 Windows용 빌드.
  • 04재현 가능한 Linux 빌드를 위한 Docker 기반 빌드 컨테이너.
  • 05pip로 설치할 수 있는 Python 패키지.
  • 06Jetson 및 DriveOS 타깃용 크로스 컴파일 툴체인.

활용 사례

  • NVIDIA GPU에서 지연 시간이 짧은 딥러닝 추론을 위해 모델 배포.
  • ONNX 또는 PyTorch 모델을 최적화된 TensorRT 엔진으로 변환.
  • 기본 지원되지 않는 레이어를 위한 TensorRT 플러그인 제작.
  • Jetson 또는 DriveOS 임베디드 기기에서 추론 실행.

빠른 시작

  1. 1

    미리 빌드된 TensorRT Python 패키지를 설치합니다

    pip install tensorrt

사용 전 알아둘 점

  • CUDA가 설치된 NVIDIA GPU가 필요합니다.
  • 오픈 소스 저장소는 TensorRT GA 릴리스의 일부이며, 네이티브 빌드를 완전히 수행하려면 별도의 TensorRT 빌드가 필요합니다.
  • 소스에서 빌드하려면 CUDA, cuDNN, TensorRT GA 라이브러리와 같은 대규모 시스템 사전 요구 사항이 필요합니다.

토픽

#deep-learning#inference#gpu-acceleration#onnx#cuda#model-optimization#nvidia#tensorrt

자주 묻는 질문

TensorRT은(는) 무엇인가요?
NVIDIA GPU에서 딥러닝 추론 성능을 높여 주는 SDK, TensorRT의 오픈 소스 구성 요소로 플러그인, ONNX 파서, 샘플을 포함합니다. TensorRT는 NVIDIA GPU에서 딥러닝 모델을 추론하는 데 사용하는 NVIDIA SDK입니다. 이 저장소에는 TensorRT 릴리스의 오픈 소스 하위 집합인 플러그인과 ONNX 파서의 소스 코드, 플랫폼 사용법을 보여 주는 샘플 애플리케이션이 들어 있습니다. 비공개 런타임과 라이브러리는 일반 공급 릴리스에서 제공되며, 이 저장소는 해당 구성 요소를 대상으로 빌드됩니다.
TensorRT은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
TensorRT은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
TensorRT은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. TensorRT의 마지막 커밋은 2026년 10월 9일입니다.
TensorRT은(는) 어디에 사용할 수 있나요?
NVIDIA GPU에서 지연 시간이 짧은 딥러닝 추론을 위해 모델 배포. ONNX 또는 PyTorch 모델을 최적화된 TensorRT 엔진으로 변환. 기본 지원되지 않는 레이어를 위한 TensorRT 플러그인 제작. Jetson 또는 DriveOS 임베디드 기기에서 추론 실행.
TensorRT는 어떻게 설치하나요?
미리 빌드된 TensorRT Python 패키지를 설치합니다: pip install tensorrt
TensorRT은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/NVIDIA/TensorRT

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트