Repolode
제출하기
NVIDIA

NVIDIA/Model-Optimizer

NVIDIA의 오픈소스 라이브러리로, 양자화·프루닝·증류·희소성·추측 디코딩을 통해 딥러닝 모델을 압축하고 추론 속도를 높입니다.

GitHub에서 보기웹사이트
스타
5,548
포크
801
열린 이슈
524
마지막 커밋
24시간 전

어떤 프로젝트인가요?

NVIDIA Model Optimizer(ModelOpt)는 학습 후 양자화, 양자화 인식 학습, 프루닝, 지식 증류, Neural Architecture Search, 희소성, 추측 디코딩 등의 모델 최적화 기법을 적용하는 Python 라이브러리입니다. Hugging Face, PyTorch 또는 ONNX 모델을 입력으로 받아 이러한 기법을 조합할 수 있는 Python API를 제공하고, 최적화된 양자화 체크포인트를 내보냅니다.

내보낸 체크포인트는 TensorRT-LLM, TensorRT, vLLM, SGLang을 포함한 다운스트림 추론 프레임워크에서 사용할 수 있습니다. 또한 학습 시점 최적화를 위해 Megatron-LM, Megatron-Bridge, Hugging Face Accelerate와 통합되며, Hugging Face 내보내기 API는 transformers와 diffusers 모델을 모두 지원합니다.

저장소에는 LLM, VLM, diffusion 모델, ONNX용 예제와 모델 유형별 지원 매트릭스, Hugging Face에 게시된 사전 양자화 체크포인트 모음이 포함되어 있습니다.

핵심 기능

  • 01NVFP4 및 FP8 형식을 포함한 학습 후 양자화와 양자화 인식 학습
  • 02LLM을 경량화하는 구조적 프루닝 및 지식 증류
  • 03추측 디코딩 및 희소성 기법
  • 04TensorRT-LLM, vLLM, SGLang용 양자화 체크포인트 내보내기
  • 05Hugging Face, PyTorch, ONNX 모델 입력 지원

활용 사례

  • 대규모 Hugging Face LLM을 NVFP4 또는 FP8로 양자화한 뒤 vLLM이나 TensorRT-LLM으로 서빙
  • 대형 모델을 프루닝하고 증류해 품질을 대부분 유지하는 소형 모델로 만들기
  • 추측 디코딩에 사용할 draft 모듈을 추가해 토큰 생성 속도 높이기
  • 이미지 또는 동영상 생성 파이프라인에서 diffusion 모델의 지연 시간 줄이기

빠른 시작

  1. 1

    PyPI에서 안정화 버전을 설치합니다

    pip install -U nvidia-modelopt[all]

사용 전 알아둘 점

  • 설치 과정에서 추가적인 타사 오픈 소스 프로젝트도 함께 설치되며, 해당 프로젝트의 라이선스 조건을 검토해야 합니다.
  • 함께 사용할 수 있는 NVIDIA 컨테이너 이미지에는 각각 고유한 라이선스 조건이 있으므로 사용 전에 검토해야 합니다.

토픽

#model-compression#quantization#pruning#knowledge-distillation#inference-optimization#speculative-decoding#tensorrt#llm

자주 묻는 질문

Model-Optimizer은(는) 무엇인가요?
NVIDIA의 오픈소스 라이브러리로, 양자화·프루닝·증류·희소성·추측 디코딩을 통해 딥러닝 모델을 압축하고 추론 속도를 높입니다. NVIDIA Model Optimizer(ModelOpt)는 학습 후 양자화, 양자화 인식 학습, 프루닝, 지식 증류, Neural Architecture Search, 희소성, 추측 디코딩 등의 모델 최적화 기법을 적용하는 Python 라이브러리입니다. Hugging Face, PyTorch 또는 ONNX 모델을 입력으로 받아 이러한 기법을 조합할 수 있는 Python API를 제공하고, 최적화된 양자화 체크포인트를 내보냅니다.
Model-Optimizer은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
Model-Optimizer은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
Model-Optimizer은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. Model-Optimizer의 마지막 커밋은 2026년 11월 6일입니다.
Model-Optimizer은(는) 어디에 사용할 수 있나요?
대규모 Hugging Face LLM을 NVFP4 또는 FP8로 양자화한 뒤 vLLM이나 TensorRT-LLM으로 서빙 대형 모델을 프루닝하고 증류해 품질을 대부분 유지하는 소형 모델로 만들기 추측 디코딩에 사용할 draft 모듈을 추가해 토큰 생성 속도 높이기 이미지 또는 동영상 생성 파이프라인에서 diffusion 모델의 지연 시간 줄이기
Model-Optimizer는 어떻게 설치하나요?
PyPI에서 안정화 버전을 설치합니다: pip install -U nvidia-modelopt[all]
Model-Optimizer은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/NVIDIA/Model-Optimizer

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트