Repolode
NVIDIA

NVIDIA/apex

혼합 정밀도 및 분산 학습 유틸리티와 선택적 CUDA 및 C++ 융합 커널을 제공하는 NVIDIA의 PyTorch 확장입니다.

스타
8,999
포크
1,532
열린 이슈
777
마지막 커밋
5일 전

어떤 프로젝트인가요?

Apex는 혼합 정밀도 및 분산 학습을 위해 PyTorch를 확장하는 NVIDIA 유지 관리 유틸리티 모음입니다. 유틸리티가 PyTorch에 업스트림으로 병합되기 전에 최신 학습 기능을 사용할 수 있도록 하는 것이 목적입니다.

패키지에는 Adam, 레이어 정규화, softmax 같은 일반적인 연산을 위한 융합 커널과 희소성, 트랜스듀서 손실, 병목 블록, 분산 옵티마이저 등을 다루는 실험적 모듈로 구성된 contrib 네임스페이스가 포함되어 있습니다. 이러한 구성 요소 중 다수는 선택적 C++/CUDA 확장으로 빌드되며, 설치 시 환경 변수로 활성화할 수 있습니다.

Python만 사용하는 빌드도 지원하지만, 융합 커널은 포함되지 않으며 DistributedDataParallel, amp, SyncBatchNorm의 실행 속도가 더 느립니다. NVIDIA의 NGC용 PyTorch 컨테이너에는 모든 확장이 사전 설치되어 있습니다.

핵심 기능

  • 01PyTorch용 혼합 정밀도 학습 유틸리티(apex.amp).
  • 02DistributedDataParallel 및 SyncBatchNorm을 포함한 분산 학습 도구.
  • 03CUDA 확장으로 빌드되는 융합 옵티마이저 및 레이어 정규화 커널.
  • 04설치 시 개별적으로 활성화할 수 있는 모듈형 contrib 패키지.
  • 05CUDA 툴체인이 없는 환경을 위한 Python 전용 설치 옵션.

활용 사례

  • 혼합 정밀도를 사용해 NVIDIA GPU에서 대규모 모델 학습 속도 높이기.
  • 융합 분산 유틸리티를 사용해 여러 GPU 또는 노드에서 PyTorch 학습 실행하기.
  • 커스텀 학습 코드에서 융합 옵티마이저나 정규화 레이어 실험하기.

빠른 시작

  1. 1

    저장소를 클론합니다

    git clone https://github.com/NVIDIA/apex
  2. 2

    프로젝트 디렉터리로 이동합니다

    cd apex
  3. 3

    핵심 C++ 및 CUDA 확장 기능을 빌드하고 설치합니다

    APEX_CPP_EXT=1 APEX_CUDA_EXT=1 pip install -v --no-build-isolation .

사용 전 알아둘 점

  • CUDA 및 C++ 확장 기능을 빌드하려면 호환되는 PyTorch 및 CUDA 환경이 필요합니다.
  • 일부 apex.contrib 모듈은 안정 버전이 아닌 PyTorch nightly 빌드에서만 작동합니다.
  • Windows 설치는 실험 단계입니다.

포함된 컬렉션

토픽

자주 묻는 질문

apex은(는) 무엇인가요?
혼합 정밀도 및 분산 학습 유틸리티와 선택적 CUDA 및 C++ 융합 커널을 제공하는 NVIDIA의 PyTorch 확장입니다. Apex는 혼합 정밀도 및 분산 학습을 위해 PyTorch를 확장하는 NVIDIA 유지 관리 유틸리티 모음입니다. 유틸리티가 PyTorch에 업스트림으로 병합되기 전에 최신 학습 기능을 사용할 수 있도록 하는 것이 목적입니다.
apex은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
apex은(는) BSD-3-Clause 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
apex은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. apex의 마지막 커밋은 2026년 11월 2일입니다.
apex은(는) 어디에 사용할 수 있나요?
혼합 정밀도를 사용해 NVIDIA GPU에서 대규모 모델 학습 속도 높이기. 융합 분산 유틸리티를 사용해 여러 GPU 또는 노드에서 PyTorch 학습 실행하기. 커스텀 학습 코드에서 융합 옵티마이저나 정규화 레이어 실험하기.
apex는 어떻게 설치하나요?
저장소를 클론합니다: git clone https://github.com/NVIDIA/apex 프로젝트 디렉터리로 이동합니다: cd apex 핵심 C++ 및 CUDA 확장 기능을 빌드하고 설치합니다: APEX_CPP_EXT=1 APEX_CUDA_EXT=1 pip install -v --no-build-isolation .
apex은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/NVIDIA/apex

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트