pytorch/ao

어떤 프로젝트인가요?

핵심 기능

• 01추론을 위한 int4, int8, float8 가중치 및 활성값 양자화.
• 02양자화로 손실된 정확도를 회복하는 양자화 인식 학습(QAT) 레시피.
• 03torch.compile 및 FSDP2와 함께 사용할 수 있는 float8 및 MXFP8 학습 지원.
• 04메모리 사용량을 줄이는 양자화 옵티마이저(8-bit, 4-bit, fp8 AdamW)와 단일 GPU CPU 오프로딩.
• 05Hugging Face transformers, diffusers, vLLM, SGLang 및 ExecuTorch 통합.

활용 사례

• GPU 메모리와 지연 시간을 줄이기 위해 int4 또는 float8 가중치로 대규모 언어 모델을 서빙.
• 저비트 추론으로 인한 정확도 손실을 줄이도록 QAT로 양자화 모델을 파인튜닝.
• 멀티 GPU 클러스터에서 대규모 트랜스포머 모델의 float8 사전 학습 실행.
• ExecuTorch를 사용해 양자화 모델을 모바일 또는 엣지 기기에 배포.

빠른 시작

1. 1

   PyPI에서 최신 안정 버전 TorchAO를 설치합니다

   pip install torchao
2. 2

   quantize_를 사용해 모델 가중치를 int4로 양자화합니다(model을 PyTorch 모델로 바꾸세요)

   quantize_(model, Int4WeightOnlyConfig(group_size=32, int4_packing_format="tile_packed_to_4d", int4_choose_qparams_algorithm="hqq"))

사용 전 알아둘 점

• !일부 선택적 커널과 학습 기능에는 추가 패키지와 특정 CUDA 빌드가 필요합니다.
• !Float8 및 MoE 학습 기능은 특정 GPU 하드웨어에 따라 달라집니다.

토픽

자주 묻는 질문

ao은(는) 무엇인가요?

학습과 추론 서빙을 아우르는 PyTorch 네이티브 양자화·희소성·float8 학습 라이브러리입니다. TorchAO는 PyTorch를 기반으로 직접 구축된 양자화 및 모델 최적화 라이브러리입니다. 가중치 전용 및 동적 양자화(int4, int8, float8 포함), 양자화 인식 학습(QAT), float8 및 MXFP8 학습 레시피, 희소성, 옵티마이저 메모리 사용량을 줄이는 양자화 옵티마이저를 제공합니다.

ao은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

ao은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

ao은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. ao의 마지막 커밋은 2026년 10월 19일입니다.

ao은(는) 어디에 사용할 수 있나요?

GPU 메모리와 지연 시간을 줄이기 위해 int4 또는 float8 가중치로 대규모 언어 모델을 서빙. 저비트 추론으로 인한 정확도 손실을 줄이도록 QAT로 양자화 모델을 파인튜닝. 멀티 GPU 클러스터에서 대규모 트랜스포머 모델의 float8 사전 학습 실행. ExecuTorch를 사용해 양자화 모델을 모바일 또는 엣지 기기에 배포.

ao는 어떻게 설치하나요?

PyPI에서 최신 안정 버전 TorchAO를 설치합니다: pip install torchao quantize_를 사용해 모델 가중치를 int4로 양자화합니다(model을 PyTorch 모델로 바꾸세요): quantize_(model, Int4WeightOnlyConfig(group_size=32, int4_packing_format="tile_packed_to_4d", int4_choose_qparams_algorithm="hqq"))

ao은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/pytorch/ao