Repolode
제출하기
NVIDIA-NeMo

NVIDIA-NeMo/Automodel

Hugging Face 체크포인트에서 바로 LLM, VLM, diffusion 모델을 파인튜닝하고 사전 학습할 수 있는 PyTorch DTensor 네이티브 학습 라이브러리입니다.

GitHub에서 보기웹사이트
스타
1,079
포크
371
열린 이슈
502
마지막 커밋
3시간 전

어떤 프로젝트인가요?

NeMo AutoModel은 NVIDIA NeMo Framework의 오픈 소스 학습 라이브러리로, DeviceMesh와 DTensor 같은 PyTorch 분산 프리미티브를 기반으로 합니다. 대규모 언어 모델, 비전-언어 모델, diffusion 모델, 검색 모델의 사전 학습과 파인튜닝(SFT 및 PEFT/LoRA)을 지원하며, 형식 변환 없이 Hugging Face 체크포인트를 불러옵니다.

학습 실행은 YAML 레시피로 정의하고, 명령줄에서 값을 재정의할 수 있습니다. 병렬화 방식은 코드에 고정하지 않고 설정으로 지정합니다. device mesh를 변경하면 동일한 스크립트를 단일 GPU부터 여러 노드까지 실행할 수 있으며, FSDP2, HSDP, 텐서, 컨텍스트, 시퀀스, 파이프라인 병렬화를 조합할 수 있습니다. MoE 모델을 위한 전문가 병렬화도 지원하며, Kubernetes와 Slurm용 실행 경로를 제공합니다.

저장소에는 Qwen, Gemma, Mistral, GLM, DeepSeek, Nemotron 등 최근 공개 모델 계열을 폭넓게 다루는 레시피가 포함되어 있으며, EAGLE과 DFlash 같은 speculative decoding 드래프터 학습도 지원합니다.

핵심 기능

  • 01변환 과정 없이 Hugging Face 모델을 바로 불러와 SFT, LoRA, 사전 학습을 수행합니다.
  • 02device mesh 설정을 변경해 단일 GPU에서 여러 노드 작업까지 확장합니다.
  • 03FSDP2, HSDP, 텐서, 컨텍스트, 시퀀스, 파이프라인 병렬화를 조합합니다.
  • 04Mixture-of-experts 모델의 전문가 병렬화를 지원합니다.
  • 05CLI에서 값을 재정의할 수 있는 YAML 기반 레시피를 실행합니다.
  • 06Kubernetes 및 Slurm 배포 경로를 제공합니다.

활용 사례

  • 멀티 GPU 또는 멀티 노드 클러스터에서 공개 가중치 LLM이나 VLM을 파인튜닝합니다.
  • 전문가 병렬화를 사용해 최신 MoE 모델에 LoRA 또는 전체 파라미터 SFT를 수행합니다.
  • 추론 속도 향상을 위해 EAGLE 같은 speculative decoding 드래프터 모델을 학습합니다.
  • 병렬화 전략마다 모델 코드를 다시 작성하지 않고 일반 PyTorch에서 학습 변경 사항을 시험합니다.

사용 전 알아둘 점

  • 많은 예제 레시피는 8~16개 노드 또는 EP64 구성과 같은 대규모 멀티노드 GPU 클러스터를 대상으로 합니다.

토픽

#llm#pytorch#fine-tuning#distributed-training#vlm#hugging-face#moe#lora#agent#deepseek-v4

자주 묻는 질문

Automodel은(는) 무엇인가요?
Hugging Face 체크포인트에서 바로 LLM, VLM, diffusion 모델을 파인튜닝하고 사전 학습할 수 있는 PyTorch DTensor 네이티브 학습 라이브러리입니다. NeMo AutoModel은 NVIDIA NeMo Framework의 오픈 소스 학습 라이브러리로, DeviceMesh와 DTensor 같은 PyTorch 분산 프리미티브를 기반으로 합니다. 대규모 언어 모델, 비전-언어 모델, diffusion 모델, 검색 모델의 사전 학습과 파인튜닝(SFT 및 PEFT/LoRA)을 지원하며, 형식 변환 없이 Hugging Face 체크포인트를 불러옵니다.
Automodel은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
Automodel은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
Automodel은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. Automodel의 마지막 커밋은 2026년 11월 7일입니다.
Automodel은(는) 어디에 사용할 수 있나요?
멀티 GPU 또는 멀티 노드 클러스터에서 공개 가중치 LLM이나 VLM을 파인튜닝합니다. 전문가 병렬화를 사용해 최신 MoE 모델에 LoRA 또는 전체 파라미터 SFT를 수행합니다. 추론 속도 향상을 위해 EAGLE 같은 speculative decoding 드래프터 모델을 학습합니다. 병렬화 전략마다 모델 코드를 다시 작성하지 않고 일반 PyTorch에서 학습 변경 사항을 시험합니다.
Automodel은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/NVIDIA-NeMo/Automodel

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트