Repolode
제출하기
huggingface

huggingface/optimum-quanto

Hugging Face Optimum용 PyTorch 양자화 백엔드로, 모델 가중치와 활성값을 int2부터 float8까지 양자화합니다.

GitHub에서 보기
스타
1,056
포크
100
열린 이슈
5
마지막 커밋
12일 전

어떤 프로젝트인가요?

Optimum Quanto는 Hugging Face Optimum 생태계의 일부로 제공되는 PyTorch 양자화 백엔드입니다. 부동소수점 모델을 더 낮은 비트폭의 모델로 변환하며, 가중치는 int2, int4, int8, float8을, 활성값은 int8과 float8을 지원합니다. 따라서 비트폭에 대체로 비례해 디바이스 메모리 사용량을 줄일 수 있습니다.

이 라이브러리는 eager mode로 동작하므로 추적할 수 없는 모델도 처리할 수 있으며, 양자화된 모델은 CUDA, MPS 및 기타 디바이스에서 실행할 수 있습니다. Hugging Face LLM과 diffusers 파이프라인 구성 요소를 양자화하고 저장하는 헬퍼 클래스와, 일반 PyTorch 모델을 위한 양자화, 보정, 양자화 인식 튜닝, 고정 및 safetensors 직렬화 기능을 제공하는 저수준 API가 포함되어 있습니다.

프로젝트는 유지보수 모드이므로 사소한 수정과 문서 변경만 받고 있습니다. README에서는 프로덕션 지향 또는 활발히 개발 중인 양자화 작업을 위해 bitsandbytes와 torchAO를 안내합니다. Torch compiler (dynamo) 호환성은 아직 구현되지 않은 것으로 명시되어 있습니다.

핵심 기능

  • 01int2, int4, int8, float8 가중치와 int8, float8 활성값을 지원합니다.
  • 02eager mode로 실행되므로 추적할 수 없는 모델도 지원합니다.
  • 03양자화된 모델을 CUDA, MPS 및 기타 디바이스에서 실행할 수 있습니다.
  • 04Hugging Face LLM과 diffusers 구성 요소를 양자화하고 저장한 뒤 다시 불러올 수 있는 헬퍼 클래스를 제공합니다.
  • 05pytorch weight_only 형식과 safetensors로 직렬화합니다.

활용 사례

  • 대형 Hugging Face LLM을 양자화해 제한된 GPU 메모리에 맞춥니다.
  • PixArt와 같은 diffusers 트랜스포머 구성 요소를 양자화해 메모리 사용량이 적은 이미지 생성을 지원합니다.
  • 저수준 API로 일반 PyTorch 모델에 양자화 인식 학습을 적용합니다.

포함된 컬렉션

AI 이미지 생성기 & Stable Diffusion 도구

토픽

#pytorch#quantization#llm#diffusion-models#model-compression#safetensors#hugging-face#optimum

자주 묻는 질문

optimum-quanto은(는) 무엇인가요?
Hugging Face Optimum용 PyTorch 양자화 백엔드로, 모델 가중치와 활성값을 int2부터 float8까지 양자화합니다. Optimum Quanto는 Hugging Face Optimum 생태계의 일부로 제공되는 PyTorch 양자화 백엔드입니다. 부동소수점 모델을 더 낮은 비트폭의 모델로 변환하며, 가중치는 int2, int4, int8, float8을, 활성값은 int8과 float8을 지원합니다. 따라서 비트폭에 대체로 비례해 디바이스 메모리 사용량을 줄일 수 있습니다.
optimum-quanto은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
optimum-quanto은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
optimum-quanto은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. optimum-quanto의 마지막 커밋은 2026년 10월 26일입니다.
optimum-quanto은(는) 어디에 사용할 수 있나요?
대형 Hugging Face LLM을 양자화해 제한된 GPU 메모리에 맞춥니다. PixArt와 같은 diffusers 트랜스포머 구성 요소를 양자화해 메모리 사용량이 적은 이미지 생성을 지원합니다. 저수준 API로 일반 PyTorch 모델에 양자화 인식 학습을 적용합니다.
optimum-quanto은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/huggingface/optimum-quanto

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트