Repolode
제출하기
huggingface

huggingface/optimum

Hugging Face의 Transformers, Diffusers, TIMM 및 Sentence-Transformers 모델을 특정 하드웨어 백엔드에서 내보내고 실행해 추론과 학습을 최적화하는 툴킷입니다.

GitHub에서 보기웹사이트
스타
3,518
포크
718
열린 이슈
313
마지막 커밋
4일 전

어떤 프로젝트인가요?

Optimum은 Hugging Face의 Transformers, Diffusers, TIMM 및 Sentence-Transformers 라이브러리에 도구를 추가해 특정 하드웨어에서 모델을 효율적으로 실행하고 학습할 수 있게 합니다. 동일한 상위 수준 API를 유지하므로 이 라이브러리로 불러온 모델도 몇 가지 단계를 더 거치면 내보내고 최적화할 수 있습니다.

추론의 경우 Optimum은 ONNX 및 ONNX Runtime, Intel 하드웨어용 OpenVINO, 모바일 및 엣지 디바이스용 ExecuTorch, AWS Inferentia, NVIDIA TensorRT-LLM 등의 내보내기 및 런타임 경로를 지원합니다. 내보내기와 최적화는 Python 코드나 명령줄에서 실행할 수 있습니다. PyTorch 양자화도 별도의 Quanto 백엔드를 통해 지원합니다.

학습의 경우 Optimum은 Intel Gaudi 가속기와 AWS Trainium용 Transformers Trainer 래퍼를 제공하고, GPU용 ONNX Runtime 가속도 지원합니다. 일부 백엔드는 optimum-onnx, optimum-intel 같은 별도 연동 패키지로 분리되었으므로, 대상 가속기에 따라 설치 방법이 달라집니다.

핵심 기능

  • 01Transformers, Diffusers, TIMM 및 Sentence-Transformers 모델을 ONNX 형식으로 내보냅니다.
  • 02ORTModel 클래스를 통해 내보낸 모델을 ONNX Runtime으로 실행합니다.
  • 03Intel 하드웨어용 OpenVINO 및 NNCF 최적화를 지원합니다.
  • 04Intel Gaudi와 AWS Trainium 학습을 위한 Trainer 래퍼를 제공합니다.
  • 05Quanto 백엔드를 통해 PyTorch 양자화를 지원합니다.

활용 사례

  • OpenVINO를 사용해 CPU 또는 Intel 하드웨어에서 Transformers 모델을 배포합니다.
  • 프로덕션 추론에 사용할 Hugging Face 모델을 ONNX로 내보냅니다.
  • Intel Gaudi 또는 AWS Trainium 인스턴스에서 모델을 파인튜닝합니다.
  • 메모리 사용량을 줄여 양자화된 PyTorch 모델을 실행합니다.

빠른 시작

  1. 1

    pip으로 Optimum 설치

    python -m pip install optimum
  2. 2

    하드웨어에 맞는 가속기별 추가 패키지(예: ONNX Runtime) 설치

    pip install --upgrade --upgrade-strategy eager optimum[onnxruntime]

사용 전 알아둘 점

  • 가속기 기능을 사용하려면 백엔드별 추가 설치와 해당 하드웨어가 필요합니다.
  • 일부 백엔드는 optimum-onnx 및 optimum-executorch와 같은 별도 패키지로 분리되었습니다.

토픽

#inference-optimization#onnx#onnxruntime#transformers#quantization#pytorch#model-export#hardware-acceleration#graphcore#habana

자주 묻는 질문

optimum은(는) 무엇인가요?
Hugging Face의 Transformers, Diffusers, TIMM 및 Sentence-Transformers 모델을 특정 하드웨어 백엔드에서 내보내고 실행해 추론과 학습을 최적화하는 툴킷입니다. Optimum은 Hugging Face의 Transformers, Diffusers, TIMM 및 Sentence-Transformers 라이브러리에 도구를 추가해 특정 하드웨어에서 모델을 효율적으로 실행하고 학습할 수 있게 합니다. 동일한 상위 수준 API를 유지하므로 이 라이브러리로 불러온 모델도 몇 가지 단계를 더 거치면 내보내고 최적화할 수 있습니다.
optimum은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
optimum은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
optimum은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. optimum의 마지막 커밋은 2026년 11월 2일입니다.
optimum은(는) 어디에 사용할 수 있나요?
OpenVINO를 사용해 CPU 또는 Intel 하드웨어에서 Transformers 모델을 배포합니다. 프로덕션 추론에 사용할 Hugging Face 모델을 ONNX로 내보냅니다. Intel Gaudi 또는 AWS Trainium 인스턴스에서 모델을 파인튜닝합니다. 메모리 사용량을 줄여 양자화된 PyTorch 모델을 실행합니다.
optimum는 어떻게 설치하나요?
pip으로 Optimum 설치: python -m pip install optimum 하드웨어에 맞는 가속기별 추가 패키지(예: ONNX Runtime) 설치: pip install --upgrade --upgrade-strategy eager optimum[onnxruntime]
optimum은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/huggingface/optimum

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트