microsoft/Olive

어떤 프로젝트인가요?

핵심 기능

• 01단일 `olive optimize` 명령으로 실행하는 자동 최적화 파이프라인입니다.
• 02GPTQ를 사용해 int4 같은 저정밀도로 양자화합니다.
• 03Hugging Face 모델을 가중치 파일을 분리한 ONNX 그래프로 내보냅니다.
• 04ONNX Runtime을 통해 CPU, GPU, NPU를 대상으로 합니다.
• 05최적화와 함께 미세 조정 및 변환 단계도 지원합니다.

활용 사례

• 소형 언어 모델을 기기 내 추론용 int4 ONNX 형식으로 변환합니다.
• Windows 또는 엣지 하드웨어에서 ONNX Runtime으로 배포할 Hugging Face LLM을 준비합니다.
• 모델 크기, 정확도, 지연 시간의 균형을 맞추기 위해 양자화 설정을 실험합니다.

빠른 시작

1. 1

   pip으로 Olive 설치하기

   pip install olive-ai
2. 2

   transformers와 onnxruntime-genai 설치하기

   pip install transformers onnxruntime-genai
3. 3

   Qwen2.5-0.5B-Instruct를 int4로 자동 최적화하기

   olive optimize --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct --precision int4 --output_path models/qwen

사용 전 알아둘 점

• !Python 환경이 필요하며 Hugging Face에서 모델을 다운로드해야 합니다.
• !일부 최적화 기능을 사용하려면 선택적 extras와 추가 종속 항목이 필요합니다.

토픽

자주 묻는 질문

Olive은(는) 무엇인가요?

모델 미세 조정, 변환, 양자화 단계를 조합해 CPU, GPU, NPU에 최적화된 ONNX 모델을 만드는 Python 툴킷입니다. Olive는 ONNX Runtime을 기반으로 하는 AI 모델 최적화 툴킷입니다. 모델과 대상 하드웨어 플랫폼을 지정하면 양자화, 그래프 최적화 등의 기법을 이어서 적용하고, 정확도와 지연 시간 같은 제약을 고려해 클라우드나 엣지 기기에서 추론에 사용할 효율적인 ONNX 모델을 생성합니다.

Olive은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

Olive은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

Olive은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. Olive의 마지막 커밋은 2026년 11월 7일입니다.

Olive은(는) 어디에 사용할 수 있나요?

소형 언어 모델을 기기 내 추론용 int4 ONNX 형식으로 변환합니다. Windows 또는 엣지 하드웨어에서 ONNX Runtime으로 배포할 Hugging Face LLM을 준비합니다. 모델 크기, 정확도, 지연 시간의 균형을 맞추기 위해 양자화 설정을 실험합니다.

Olive는 어떻게 설치하나요?

pip으로 Olive 설치하기: pip install olive-ai transformers와 onnxruntime-genai 설치하기: pip install transformers onnxruntime-genai Qwen2.5-0.5B-Instruct를 int4로 자동 최적화하기: olive optimize --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct --precision int4 --output_path models/qwen

Olive은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/microsoft/Olive