EleutherAI/gpt-neox

어떤 프로젝트인가요?

핵심 기능

• 01ZeRO 및 3D 병렬화를 통한 분산 학습
• 02Pythia, PaLM, Falcon, LLaMA 아키텍처용 사전 정의 설정
• 03Flash attention 및 Mixture of Experts(megablocks) 지원
• 04NVIDIA 및 AMD GPU에서 Slurm, MPI 또는 pdsh로 작업 실행
• 05체크포인트를 Hugging Face 형식으로 내보내고 Llama 또는 Mistral 가중치 가져오기
• 06Weights & Biases, Comet, TensorBoard를 통한 실험 모니터링

활용 사례

• GPU 클러스터에서 맞춤형 대규모 언어 모델을 처음부터 사전 학습
• Pythia 방식의 학습 실험 재현 또는 확장
• 멀티노드 병렬화로 Llama 또는 Mistral 체크포인트 파인튜닝
• Slurm 또는 HPC 슈퍼컴퓨터에서 대규모 학습 작업 실행

빠른 시작

1. 1

   저장소 루트에서 기본 종속 항목을 설치합니다

   pip install -r requirements/requirements.txt
2. 2

   설정 파일로 학습 작업을 시작합니다(경로를 본인의 설정 파일 경로로 바꾸세요)

   python3 deepy.py train.py /path/to/configs/my_model.yml

사용 전 알아둘 점

• !GPU에서 대규모 모델을 학습하도록 만들어졌으므로 상당한 성능의 GPU 하드웨어가 필요합니다.
• !README에 따르면 추론만 필요하다면 적합하지 않은 도구일 가능성이 높습니다. 대신 Hugging Face transformers를 사용하세요.
• !주로 Python 3.8~3.10 및 PyTorch 1.8~2.0에서 개발 및 테스트되었으며, DeepSpeed 포크(DeeperSpeed)에 의존합니다. 격리된 환경에 설치해야 합니다.

포함된 컬렉션

토픽

자주 묻는 질문

gpt-neox은(는) 무엇인가요?

Megatron-LM과 DeepSpeed를 기반으로 모델·파이프라인·데이터 병렬화를 지원하는 GPU 대규모 자기회귀 언어 모델 학습 라이브러리입니다. GPT-NeoX는 GPU에서 대규모 자기회귀 언어 모델을 학습하기 위한 EleutherAI의 라이브러리입니다. NVIDIA의 Megatron-LM을 기반으로 하며, ZeRO와 3D 병렬화를 비롯한 DeepSpeed 기법을 더하고 자체 최적화도 적용했습니다. 수십억 개의 파라미터를 가진 모델을 처음부터 사전 학습하거나 파인튜닝하려는 연구자와 팀을 대상으로 합니다.

gpt-neox은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

gpt-neox은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

gpt-neox은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. gpt-neox의 마지막 커밋은 2026년 11월 4일입니다.

gpt-neox은(는) 어디에 사용할 수 있나요?

GPU 클러스터에서 맞춤형 대규모 언어 모델을 처음부터 사전 학습 Pythia 방식의 학습 실험 재현 또는 확장 멀티노드 병렬화로 Llama 또는 Mistral 체크포인트 파인튜닝 Slurm 또는 HPC 슈퍼컴퓨터에서 대규모 학습 작업 실행

gpt-neox는 어떻게 설치하나요?

저장소 루트에서 기본 종속 항목을 설치합니다: pip install -r requirements/requirements.txt 설정 파일로 학습 작업을 시작합니다(경로를 본인의 설정 파일 경로로 바꾸세요): python3 deepy.py train.py /path/to/configs/my_model.yml

gpt-neox은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/EleutherAI/gpt-neox