Repolode
제출하기
alibaba

alibaba/rtp-llm

Alibaba의 고성능 LLM 추론 엔진으로, 여러 사업 부문에서 대규모 언어 모델을 서빙하는 데 사용됩니다.

GitHub에서 보기
스타
1,394
포크
299
열린 이슈
274
마지막 커밋
4시간 전

어떤 프로젝트인가요?

RTP-LLM은 Alibaba의 Foundation Model Inference Team이 개발한 대규모 언어 모델 추론 가속 엔진입니다. 프로덕션 환경에서 LLM을 효율적으로 서빙하도록 설계됐으며, Taobao, Tmall, Amap을 비롯한 Alibaba의 여러 사업 부문에서 사용됩니다.

이 엔진은 PagedAttention, FlashAttention 같은 최적화된 CUDA 커널을 사용하고, GPTQ 및 AWQ 체크포인트를 포함한 weight-only INT8 및 INT4 양자화와 적응형 KV cache 양자화를 지원합니다. SafeTensors, PyTorch, Megatron 가중치 형식으로 저장된 HuggingFace 형식 모델을 불러올 수 있으며, 여러 머신과 GPU에 걸친 텐서 병렬 실행도 지원합니다.

서빙 기능에는 단일 모델 인스턴스에서 여러 LoRA 어댑터 서빙, 이미지와 텍스트를 결합한 멀티모달 입력, 멀티턴 대화를 위한 prefix 및 system prompt 캐싱, speculative decoding, Prefill/Decode 분리가 포함됩니다. 이 프로젝트는 havenask의 하위 프로젝트이며 FasterTransformer와 TensorRT-LLM 커널의 아이디어를 바탕으로 만들어졌습니다.

핵심 기능

  • 01PagedAttention, FlashAttention을 포함한 최적화된 CUDA 커널
  • 02GPTQ 및 AWQ와 호환되는 WeightOnly INT8/INT4 양자화
  • 03여러 머신과 GPU에 걸친 텐서 병렬 처리
  • 04하나의 모델 인스턴스에서 여러 LoRA 어댑터 서빙
  • 05멀티턴 대화를 위한 컨텍스트 prefix 캐시 및 system prompt 캐시
  • 06Speculative decoding 및 Prefill/Decode 분리

활용 사례

  • NVIDIA GPU에서 처리량이 높은 LLM 추론 서비스 배포
  • 하나의 기본 모델을 미세 조정한 여러 LoRA 모델 서빙
  • 프로덕션 환경에서 이미지와 텍스트를 처리하는 멀티모달 모델 실행
  • 양자화와 KV cache 최적화로 GPU 메모리 사용량과 지연 시간 절감

빠른 시작

  1. 1

    RTP-LLM 문서 사이트의 설치 가이드를 따르세요

  2. 2

    빠른 시작 가이드를 따라 첫 요청을 보내세요

사용 전 알아둘 점

  • README에서 CUDA 커널과 V100 최적화를 다루므로 NVIDIA GPU 환경에 중점을 둡니다.
  • README에 따르면 AMD ROCm 및 Intel CPU 지원은 아직 개발 중입니다.

포함된 컬렉션

로컬에서 LLM 실행하기GPU로 AI를 학습하고 실행하는 도구

토픽

#llm-inference#llm-serving#gpu#cuda#quantization#model-serving#lora#gpt#inference#llama

자주 묻는 질문

rtp-llm은(는) 무엇인가요?
Alibaba의 고성능 LLM 추론 엔진으로, 여러 사업 부문에서 대규모 언어 모델을 서빙하는 데 사용됩니다. RTP-LLM은 Alibaba의 Foundation Model Inference Team이 개발한 대규모 언어 모델 추론 가속 엔진입니다. 프로덕션 환경에서 LLM을 효율적으로 서빙하도록 설계됐으며, Taobao, Tmall, Amap을 비롯한 Alibaba의 여러 사업 부문에서 사용됩니다.
rtp-llm은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
rtp-llm은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
rtp-llm은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. rtp-llm의 마지막 커밋은 2026년 11월 7일입니다.
rtp-llm은(는) 어디에 사용할 수 있나요?
NVIDIA GPU에서 처리량이 높은 LLM 추론 서비스 배포 하나의 기본 모델을 미세 조정한 여러 LoRA 모델 서빙 프로덕션 환경에서 이미지와 텍스트를 처리하는 멀티모달 모델 실행 양자화와 KV cache 최적화로 GPU 메모리 사용량과 지연 시간 절감
rtp-llm는 어떻게 설치하나요?
RTP-LLM 문서 사이트의 설치 가이드를 따르세요 빠른 시작 가이드를 따라 첫 요청을 보내세요
rtp-llm은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/alibaba/rtp-llm

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트