“model-parallelism” 관련 오픈소스 프로젝트

대규모 모델의 분산 학습과 추론을 더 쉽고 효율적으로 지원하는 딥러닝 최적화 라이브러리입니다.

다차원 병렬 처리로 대규모 Transformer 모델을 학습하기 위한 GPU 최적화 라이브러리와 학습 레퍼런스 스크립트입니다.