intel/auto-round

어떤 프로젝트인가요?

핵심 기능

• 01W2~W8 비트 폭의 가중치 전용 양자화와 MXFP4, NVFP4, FP8 타입을 지원합니다.
• 02auto_round, AutoAWQ, AutoGPTQ, llm-compressor, GGUF 형식으로 내보낼 수 있습니다.
• 03AutoScheme은 목표 평균 비트 폭에 맞춰 혼합 비트 양자화 레시피를 생성합니다.
• 04비전-언어 모델의 텍스트 모듈 양자화를 지원합니다.
• 05멀티 GPU 양자화와 보정 데이터셋 선택을 지원합니다.

활용 사례

• 단일 GPU에서 추론 비용을 낮추기 위해 7B~70B LLM의 가중치를 4비트로 줄입니다.
• vLLM 또는 SGLang으로 서빙할 양자화 체크포인트를 준비합니다.
• llama.cpp 호환 런타임에서 사용할 GGUF 파일을 생성합니다.
• 메모리 예산에 맞는 혼합 정밀도 레시피를 시험합니다.

빠른 시작

1. 1

   PyPI에서 auto-round 설치(CPU/CUDA)

   pip install auto-round
2. 2

   CLI로 모델 양자화

   auto-round --model Qwen/Qwen3-0.6B --scheme "W4A16" --format "auto_round" --output_dir ./tmp_autoround

사용 전 알아둘 점

• !알고리즘 조합 및 실제 커널이 없는 MXFP4 방식 등 일부 기능은 실험적입니다.
• !최근 릴리스 노트에 따르면 일부 최적화로 인해 성능 저하나 문제가 발생할 수 있습니다.
• !최고 정확도 레시피는 기본 설정보다 몇 배 느립니다.

토픽

자주 묻는 질문

auto-round은(는) 무엇인가요?

Intel의 LLM 및 VLM 후학습 양자화 툴킷으로, Transformers, vLLM, SGLang용 모델을 저비트 가중치로 압축합니다. AutoRound는 대규모 언어 모델과 비전-언어 모델을 위한 후학습 양자화 툴킷입니다. 가중치 반올림을 부호 있는 그래디언트로 최적화하는 SignRound 방식을 사용해 낮은 비트 폭에서도 정확도를 유지하며, AutoScheme이라는 적응형 혼합 비트 스킴 생성 기능도 제공합니다.

auto-round은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

auto-round은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

auto-round은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. auto-round의 마지막 커밋은 2026년 10월 21일입니다.

auto-round은(는) 어디에 사용할 수 있나요?

단일 GPU에서 추론 비용을 낮추기 위해 7B~70B LLM의 가중치를 4비트로 줄입니다. vLLM 또는 SGLang으로 서빙할 양자화 체크포인트를 준비합니다. llama.cpp 호환 런타임에서 사용할 GGUF 파일을 생성합니다. 메모리 예산에 맞는 혼합 정밀도 레시피를 시험합니다.

auto-round는 어떻게 설치하나요?

PyPI에서 auto-round 설치(CPU/CUDA): pip install auto-round CLI로 모델 양자화: auto-round --model Qwen/Qwen3-0.6B --scheme "W4A16" --format "auto_round" --output_dir ./tmp_autoround

auto-round은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/intel/auto-round