neural-compressor은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

neural-compressor은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

neural-compressor은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. neural-compressor의 마지막 커밋은 2026년 10월 20일입니다.

neural-compressor은(는) 어디에 사용할 수 있나요?

Intel 하드웨어에서 추론할 대규모 언어 모델의 메모리 사용량과 지연 시간 줄이기 배포 전에 PyTorch 또는 JAX 비전 모델 양자화하기 Intel Gaudi 가속기에서 FP8 양자화 적용하기

neural-compressor는 어떻게 설치하나요?

PyPI에서 PyTorch 백엔드 패키지를 설치합니다: pip install neural-compressor-pt PyPI에서 JAX 백엔드 패키지를 설치합니다(선택 사항): pip install neural-compressor-jax FP8 양자화 예제 코드를 실행합니다(Intel Gaudi2 하드웨어 또는 Gaudi Docker 이미지 필요)

neural-compressor은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/intel/neural-compressor

intel/neural-compressor

PyTorch, JAX, ONNX에서 양자화, 희소화, 증류를 통해 딥러닝 모델을 압축하는 Intel의 오픈소스 Python 라이브러리입니다.

GitHub에서 보기 웹사이트

스타: 2,722
포크: 331
열린 이슈: 30
마지막 커밋: 23시간 전

어떤 프로젝트인가요?

Intel Neural Compressor는 딥러닝 모델의 크기를 줄이고 실행 속도를 높이는 Python 라이브러리입니다. 정적·동적 양자화, SmoothQuant, 가중치 전용 양자화, 혼합 정밀도, FP8 등의 학습 후 및 양자화 인식 기법을 제공하며, 대규모 언어 모델과 비전-언어 모델을 위한 INT4, MXFP4, NVFP4 같은 저비트 형식도 지원합니다.

이 라이브러리는 PyTorch와 JAX용 프레임워크 확장을 제공하며, 모델을 불러오고 양자화할 수 있는 transformers 스타일 API를 지원합니다. LLM 및 VLM 양자화는 AutoRound와 통합되어 있습니다. 문서에 명시된 하드웨어 대상에는 Intel Gaudi AI 가속기, Intel Core Ultra, Xeon Scalable 프로세서, Intel Data Center GPU가 포함되며, AMD CPU, ARM CPU, NVIDIA GPU에서는 제한적으로 테스트되었습니다.

프로젝트에는 정확도 목표를 충족하는 양자화 구성을 탐색하는 자동 튜닝 모듈도 포함되어 있으며, 문서에서는 GPTQ 및 AWQ 스타일의 가중치 전용 워크플로를 다룹니다.

핵심 기능

01PyTorch 및 JAX 모델을 위한 정적·동적·가중치 전용 양자화
02SmoothQuant 및 양자화 인식 학습 지원
03FP8, MXFP8/MXFP4, NVFP4 저정밀도 형식 지원(일부는 실험적)
04AutoRound를 통해 LLM 및 VLM을 양자화하는 Transformers 유사 API
05정확도 목표를 충족하는 양자화 설정을 찾는 자동 튜닝

활용 사례

Intel 하드웨어에서 추론할 대규모 언어 모델의 메모리 사용량과 지연 시간 줄이기
배포 전에 PyTorch 또는 JAX 비전 모델 양자화하기
Intel Gaudi 가속기에서 FP8 양자화 적용하기

빠른 시작

1
PyPI에서 PyTorch 백엔드 패키지를 설치합니다
pip install neural-compressor-pt
2
PyPI에서 JAX 백엔드 패키지를 설치합니다(선택 사항)
pip install neural-compressor-jax
3
FP8 양자화 예제 코드를 실행합니다(Intel Gaudi2 하드웨어 또는 Gaudi Docker 이미지 필요)

사용 전 알아둘 점

주요 시작하기 예제는 Intel Gaudi2 하드웨어를 대상으로 하며, 대부분의 개발자는 해당 하드웨어를 보유하고 있지 않습니다.
NVFP4, MXFP8/MXFP4, Keras/JAX용 FP8 등 일부 기능은 아직 실험 단계입니다.
AMD CPU, ARM CPU, NVIDIA GPU 지원은 제한적인 테스트만 이루어졌습니다.
Gaudi 소프트웨어 버전을 맞추는 등의 하드웨어별 설정으로 설치 과정이 더 복잡해집니다.

토픽

#quantization #model-compression #llm #pytorch #int4 #fp8 #pruning #deep-learning #auto-tuning #awq

자주 묻는 질문

neural-compressor은(는) 무엇인가요?: PyTorch, JAX, ONNX에서 양자화, 희소화, 증류를 통해 딥러닝 모델을 압축하는 Intel의 오픈소스 Python 라이브러리입니다. Intel Neural Compressor는 딥러닝 모델의 크기를 줄이고 실행 속도를 높이는 Python 라이브러리입니다. 정적·동적 양자화, SmoothQuant, 가중치 전용 양자화, 혼합 정밀도, FP8 등의 학습 후 및 양자화 인식 기법을 제공하며, 대규모 언어 모델과 비전-언어 모델을 위한 INT4, MXFP4, NVFP4 같은 저비트 형식도 지원합니다.
neural-compressor은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?: neural-compressor은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
neural-compressor은(는) 아직 유지보수되고 있나요?: 활발히 유지보수 중. neural-compressor의 마지막 커밋은 2026년 10월 20일입니다.
neural-compressor은(는) 어디에 사용할 수 있나요?: Intel 하드웨어에서 추론할 대규모 언어 모델의 메모리 사용량과 지연 시간 줄이기 배포 전에 PyTorch 또는 JAX 비전 모델 양자화하기 Intel Gaudi 가속기에서 FP8 양자화 적용하기
neural-compressor는 어떻게 설치하나요?: PyPI에서 PyTorch 백엔드 패키지를 설치합니다: pip install neural-compressor-pt PyPI에서 JAX 백엔드 패키지를 설치합니다(선택 사항): pip install neural-compressor-jax FP8 양자화 예제 코드를 실행합니다(Intel Gaudi2 하드웨어 또는 Gaudi Docker 이미지 필요)
neural-compressor은(는) 어디서 받을 수 있나요?: 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/intel/neural-compressor

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.