TensorRT-LLM은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

TensorRT-LLM은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

TensorRT-LLM은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. TensorRT-LLM의 마지막 커밋은 2026년 10월 24일입니다.

TensorRT-LLM은(는) 어디에 사용할 수 있나요?

NVIDIA 데이터센터 GPU에서 낮은 지연 시간과 높은 처리량으로 대규모 언어 모델 서빙 Blackwell 하드웨어에서 FP8 또는 FP4 모델과 같은 양자화된 LLM 배포 Mixture-of-experts 모델의 멀티 GPU 또는 멀티 노드 추론 실행 NVIDIA GPU에서 시각 생성 모델 가속

TensorRT-LLM은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/NVIDIA/TensorRT-LLM

NVIDIA/TensorRT-LLM

NVIDIA GPU에서 LLM 및 시각 생성 모델 추론을 최적화하는 NVIDIA의 오픈 소스 라이브러리로, Python API와 C++/Python 런타임을 제공합니다.

GitHub에서 보기 웹사이트

스타: 14,937
포크: 2,862
열린 이슈: 1,789
마지막 커밋: 11시간 전

어떤 프로젝트인가요?

TensorRT LLM은 NVIDIA GPU에서 대규모 언어 모델 추론을 효율적으로 실행하기 위한 라이브러리입니다. LLM을 정의하는 Python API, attention, GEMM, MoE 계층과 같은 일반적인 연산을 위한 커스텀 커널, Python과 C++ 환경에서 실행을 조율하는 런타임 구성 요소를 제공합니다.

이 프로젝트는 단일 GPU, 멀티 GPU, 멀티 노드 구성을 지원하며, 병렬화 전략, prefill-decode 분리, 광범위한 expert parallelism, speculative decoding을 지원합니다. NVIDIA Dynamo 및 Triton Inference Server와 통합되며, PyTorch 네이티브 아키텍처를 통해 개발자는 PyTorch 코드로 런타임을 수정하거나 사전 정의된 모델을 조정할 수 있습니다.

저장소에는 시각 생성(diffusion) 모델 지원도 포함되어 있습니다. 기본적으로 텔레메트리를 수집하지만 환경 변수, 파일, Python API 또는 CLI 플래그로 비활성화할 수 있습니다.

핵심 기능

01NVIDIA GPU에서 attention, GEMM, MoE 연산을 수행하는 커스텀 커널
02단일 GPU부터 멀티 노드 배포까지 지원하는 Python LLM API
03expert parallelism 및 prefill-decode 분리를 포함한 병렬화 옵션
04Speculative decoding 및 기타 런타임 최적화
05모델과 런타임을 수정할 수 있는 PyTorch 네이티브 아키텍처
06NVIDIA Dynamo 및 Triton Inference Server 통합

활용 사례

NVIDIA 데이터센터 GPU에서 낮은 지연 시간과 높은 처리량으로 대규모 언어 모델 서빙
Blackwell 하드웨어에서 FP8 또는 FP4 모델과 같은 양자화된 LLM 배포
Mixture-of-experts 모델의 멀티 GPU 또는 멀티 노드 추론 실행
NVIDIA GPU에서 시각 생성 모델 가속

사용 전 알아둘 점

NVIDIA GPU가 필요하므로 다른 하드웨어에서는 실행할 수 없습니다.
라이선스 메타데이터에는 NOASSERTION이라고 표시되어 있지만 README 배지에는 Apache 2라고 적혀 있습니다. 사용 전에 라이선스를 확인하세요.
현재 릴리스는 릴리스 후보 버전(1.4.0rc2)이므로 API가 변경될 수 있습니다.

포함된 컬렉션

로컬에서 LLM 실행하기 GPU로 AI를 학습하고 실행하는 도구

토픽

#llm-inference #gpu #cuda #llm-serving #moe #pytorch #inference-optimization #blackwell

자주 묻는 질문

TensorRT-LLM은(는) 무엇인가요?: NVIDIA GPU에서 LLM 및 시각 생성 모델 추론을 최적화하는 NVIDIA의 오픈 소스 라이브러리로, Python API와 C++/Python 런타임을 제공합니다. TensorRT LLM은 NVIDIA GPU에서 대규모 언어 모델 추론을 효율적으로 실행하기 위한 라이브러리입니다. LLM을 정의하는 Python API, attention, GEMM, MoE 계층과 같은 일반적인 연산을 위한 커스텀 커널, Python과 C++ 환경에서 실행을 조율하는 런타임 구성 요소를 제공합니다.
TensorRT-LLM은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?: TensorRT-LLM은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
TensorRT-LLM은(는) 아직 유지보수되고 있나요?: 활발히 유지보수 중. TensorRT-LLM의 마지막 커밋은 2026년 10월 24일입니다.
TensorRT-LLM은(는) 어디에 사용할 수 있나요?: NVIDIA 데이터센터 GPU에서 낮은 지연 시간과 높은 처리량으로 대규모 언어 모델 서빙 Blackwell 하드웨어에서 FP8 또는 FP4 모델과 같은 양자화된 LLM 배포 Mixture-of-experts 모델의 멀티 GPU 또는 멀티 노드 추론 실행 NVIDIA GPU에서 시각 생성 모델 가속
TensorRT-LLM은(는) 어디서 받을 수 있나요?: 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/NVIDIA/TensorRT-LLM

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.