Repolode
제출하기
huggingface

huggingface/optimum-nvidia

한 줄의 코드 변경만으로 TensorRT-LLM을 사용해 NVIDIA GPU에서 transformers 텍스트 생성을 가속하는 Hugging Face 라이브러리입니다.

GitHub에서 보기
스타
1,039
포크
106
열린 이슈
59
마지막 커밋
지난달

어떤 프로젝트인가요?

Optimum-NVIDIA는 NVIDIA 하드웨어에서 LLM 추론을 더 빠르게 실행하기 위한 Hugging Face 라이브러리입니다. transformers의 pipeline 및 AutoModelForCausalLM 인터페이스를 감싸므로, import 문만 바꾸면 기존 transformers 코드를 최적화된 백엔드로 전환할 수 있습니다. TensorRT-LLM을 기반으로 하며 FP8 양자화, 최대 프롬프트 및 출력 길이, 배치 크기 등의 옵션을 제공합니다.

현재 LLaMA 아키텍처의 인과 언어 모델에서 텍스트 생성을 가속합니다. pip 설치는 Ubuntu에서 검증되었으며 Python 3.10, OpenMPI, 호환되는 NVIDIA GPU가 필요합니다. Docker 이미지도 제공됩니다. FP8을 사용하려면 Hopper 또는 Ada-Lovelace GPU가 필요하며, RTX 4090, L40S, H100에서 테스트되었습니다.

Optimum-NVIDIA는 transformers 코드를 다시 작성하지 않고 처리량을 높이려는 NVIDIA GPU 기반 Llama 계열 모델 서비스 팀을 대상으로 합니다. 다른 모델 아키텍처와 작업에 대한 지원은 현재 진행 중입니다.

핵심 기능

  • 01import 문을 한 줄만 바꿔 transformers의 pipeline 및 AutoModelForCausalLM을 그대로 대체할 수 있습니다.
  • 02Hopper 및 Ada-Lovelace GPU에서 FP8 양자화를 지원합니다.
  • 03최대 프롬프트 길이, 출력 길이, 배치 크기를 설정할 수 있습니다.
  • 04pip 패키지와 Docker 이미지를 제공하며, TensorRT-LLM을 기반으로 소스 빌드할 수도 있습니다.
  • 05top_k, top_p, repetition_penalty 등의 Hugging Face generate() 옵션을 지원합니다.

활용 사례

  • NVIDIA GPU에서 LLaMA 계열 채팅 모델을 더 높은 처리량으로 서비스합니다.
  • 애플리케이션 코드를 다시 작성하지 않고 기존 transformers 텍스트 생성 파이프라인의 속도를 높입니다.
  • H100 또는 L40S 서버에서 FP8 양자화 추론을 실행합니다.

빠른 시작

  1. 1

    시스템 패키지 설치(Ubuntu)

    apt-get update && apt-get -y install python3.10 python3-pip openmpi-bin libopenmpi-dev
  2. 2

    pip로 optimum-nvidia 설치

    python -m pip install --pre --extra-index-url https://pypi.nvidia.com optimum-nvidia

사용 전 알아둘 점

  • pip 설치는 Ubuntu에서만 검증되었습니다.
  • Ampere, Hopper 또는 Ada-Lovelace 아키텍처의 NVIDIA GPU가 필요합니다.
  • FP8은 Hopper 및 Ada-Lovelace GPU에서만 사용할 수 있습니다.
  • 현재 LlamaForCausalLM을 사용한 텍스트 생성만 가속합니다.

포함된 컬렉션

로컬에서 LLM 실행하기GPU로 AI를 학습하고 실행하는 도구

토픽

#llm-inference#nvidia#tensorrt-llm#transformers#gpu#fp8#text-generation

자주 묻는 질문

optimum-nvidia은(는) 무엇인가요?
한 줄의 코드 변경만으로 TensorRT-LLM을 사용해 NVIDIA GPU에서 transformers 텍스트 생성을 가속하는 Hugging Face 라이브러리입니다. Optimum-NVIDIA는 NVIDIA 하드웨어에서 LLM 추론을 더 빠르게 실행하기 위한 Hugging Face 라이브러리입니다. transformers의 pipeline 및 AutoModelForCausalLM 인터페이스를 감싸므로, import 문만 바꾸면 기존 transformers 코드를 최적화된 백엔드로 전환할 수 있습니다. TensorRT-LLM을 기반으로 하며 FP8 양자화, 최대 프롬프트 및 출력 길이, 배치 크기 등의 옵션을 제공합니다.
optimum-nvidia은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
optimum-nvidia은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
optimum-nvidia은(는) 아직 유지보수되고 있나요?
6개월 이내 업데이트. optimum-nvidia의 마지막 커밋은 2026년 9월 24일입니다.
optimum-nvidia은(는) 어디에 사용할 수 있나요?
NVIDIA GPU에서 LLaMA 계열 채팅 모델을 더 높은 처리량으로 서비스합니다. 애플리케이션 코드를 다시 작성하지 않고 기존 transformers 텍스트 생성 파이프라인의 속도를 높입니다. H100 또는 L40S 서버에서 FP8 양자화 추론을 실행합니다.
optimum-nvidia는 어떻게 설치하나요?
시스템 패키지 설치(Ubuntu): apt-get update && apt-get -y install python3.10 python3-pip openmpi-bin libopenmpi-dev pip로 optimum-nvidia 설치: python -m pip install --pre --extra-index-url https://pypi.nvidia.com optimum-nvidia
optimum-nvidia은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/huggingface/optimum-nvidia

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트