vllm-project/llm-compressor

어떤 프로젝트인가요?

핵심 기능

• 01FP8, INT8, NVFP4, MXFP4 등의 형식을 사용해 가중치, 활성값, KV cache, attention을 양자화합니다.
• 02GPTQ, AWQ, SmoothQuant, AutoRound, round-to-nearest PTQ 등의 알고리즘을 제공합니다.
• 03vLLM이 바로 불러올 수 있는 compressed-tensors 체크포인트를 출력합니다.
• 04Hugging Face 모델과 저장소를 지원합니다.
• 05매우 큰 모델을 압축할 때 DDP, 순차적 onloading, 디스크 offloading을 지원합니다.
• 06mixture-of-experts 모델에 REAP expert pruning을 적용합니다.

활용 사례

• 모델의 VRAM 사용량을 줄여 vLLM 서빙에 필요한 GPU 수를 줄입니다.
• 새로운 오픈 웨이트 모델의 FP4 또는 FP8 체크포인트를 만들어 프로덕션 추론에 사용합니다.
• 디스크 offloading 또는 DDP를 사용해 하드웨어가 제한된 환경에서 매우 큰 모델을 압축합니다.
• recipe를 통해 다양한 양자화 알고리즘과 방식을 시험합니다.

토픽

자주 묻는 질문

llm-compressor은(는) 무엇인가요?

양자화와 프루닝으로 LLM을 압축해 vLLM에서 바로 추론에 사용할 수 있는 체크포인트를 만드는 Python 라이브러리입니다. LLM Compressor는 vLLM으로 배포하기 전에 대규모 언어 모델을 최적화하는 라이브러리입니다. 가중치, 활성값, KV cache, attention을 양자화하고, mixture-of-experts 모델에는 REAP expert pruning도 적용할 수 있습니다. 모델은 vLLM이 별도 변환 없이 불러올 수 있는 compressed-tensors 형식으로 저장됩니다.

llm-compressor은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

llm-compressor은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

llm-compressor은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. llm-compressor의 마지막 커밋은 2026년 10월 22일입니다.

llm-compressor은(는) 어디에 사용할 수 있나요?

모델의 VRAM 사용량을 줄여 vLLM 서빙에 필요한 GPU 수를 줄입니다. 새로운 오픈 웨이트 모델의 FP4 또는 FP8 체크포인트를 만들어 프로덕션 추론에 사용합니다. 디스크 offloading 또는 DDP를 사용해 하드웨어가 제한된 환경에서 매우 큰 모델을 압축합니다. recipe를 통해 다양한 양자화 알고리즘과 방식을 시험합니다.

llm-compressor은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/vllm-project/llm-compressor