NVIDIA/Megatron-LM

어떤 프로젝트인가요?

핵심 기능

• 01GPU 간 확장을 위한 텐서, 파이프라인, 데이터, 전문가, 컨텍스트 병렬 처리.
• 02FP16, BF16, FP8, FP4를 사용하는 혼합 정밀도 학습.
• 03커스텀 프레임워크를 구축할 수 있는 조합형 Transformer 구성 요소와 모델 아키텍처.
• 04연구용 사전 구성 학습 스크립트와 예제.
• 05Megatron Bridge를 통한 Hugging Face와 Megatron 형식 간 체크포인트 변환.

활용 사례

• 다차원 병렬 처리로 여러 GPU에서 대규모 언어 모델 학습.
• GPU 최적화 구성 요소를 기반으로 커스텀 분산 학습 파이프라인 구축.
• 사전 구성 스크립트를 사용해 Transformer 학습 연구 실험 실행.
• Hugging Face와 Megatron 형식 간 체크포인트 변환.

빠른 시작

1. 1

   PyPI에서 Megatron Core를 설치하세요

   uv pip install megatron-core
2. 2

   또는 저장소를 클론한 후 소스에서 설치하세요

   git clone https://github.com/NVIDIA/Megatron-LM.git && cd Megatron-LM && uv pip install -e .
3. 3

   데이터 준비 및 학습 예제는 공식 「Your First Training Run」 가이드를 따르세요

사용 전 알아둘 점

• !대규모 모델을 학습하려면 NVIDIA GPU와 상당한 클러스터 리소스가 필요합니다.
• !소스에서 빌드하면 메모리를 많이 사용할 수 있으며, 컴파일 작업 수를 제한하기 위해 MAX_JOBS 설정이 필요할 수 있습니다.
• !dev 브랜치와 같은 일부 기능은 실험 단계입니다.
• !메타데이터에 라이선스가 NOASSERTION으로 표시되어 있으므로 사용 전에 LICENSE 파일을 확인하세요.

토픽

자주 묻는 질문

Megatron-LM은(는) 무엇인가요?

다차원 병렬 처리로 대규모 Transformer 모델을 학습하기 위한 GPU 최적화 라이브러리와 학습 레퍼런스 스크립트입니다. Megatron-LM은 여러 GPU에서 대규모로 Transformer 모델을 학습하기 위한 NVIDIA의 프레임워크입니다. 저장소는 두 부분으로 구성됩니다. 커스텀 학습 프레임워크를 만들 때 사용할 수 있는 GPU 최적화 구성 요소 라이브러리인 Megatron Core와, Megatron Core를 기반으로 연구 및 실험용 사전 구성 학습 스크립트를 제공하는 레퍼런스 예제인 Megatron-LM입니다.

Megatron-LM은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

Megatron-LM은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

Megatron-LM은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. Megatron-LM의 마지막 커밋은 2026년 10월 20일입니다.

Megatron-LM은(는) 어디에 사용할 수 있나요?

다차원 병렬 처리로 여러 GPU에서 대규모 언어 모델 학습. GPU 최적화 구성 요소를 기반으로 커스텀 분산 학습 파이프라인 구축. 사전 구성 스크립트를 사용해 Transformer 학습 연구 실험 실행. Hugging Face와 Megatron 형식 간 체크포인트 변환.

Megatron-LM는 어떻게 설치하나요?

PyPI에서 Megatron Core를 설치하세요: uv pip install megatron-core 또는 저장소를 클론한 후 소스에서 설치하세요: git clone https://github.com/NVIDIA/Megatron-LM.git && cd Megatron-LM && uv pip install -e . 데이터 준비 및 학습 예제는 공식 「Your First Training Run」 가이드를 따르세요

Megatron-LM은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/NVIDIA/Megatron-LM