baidu-baige/LoongForge

어떤 프로젝트인가요?

핵심 기능

• 01LLM, VLM, diffusion 및 embodied 모델 학습을 위한 Megatron 및 torch 네이티브 백엔드.
• 0240개 이상의 오픈소스 모델을 바로 실행할 수 있는 스크립트와 설정.
• 03NVIDIA GPU 및 Kunlun XPU에서 실행.
• 04사전 학습, 중간 학습, SFT 및 LoRA 지원.
• 05Megatron ↔ Hugging Face 체크포인트 변환 및 데이터 전처리 도구 제공.
• 06MoE 통신 최적화, FP8 학습 및 context parallelism 제공.

활용 사례

• 멀티노드 GPU 클러스터에서 대규모 MoE 언어 모델을 사전 학습하거나 파인튜닝.
• ViT와 LLM 부분에 서로 다른 병렬 처리 설정을 적용해 vision-language 모델 학습.
• LIBERO 데이터로 Pi0.5 같은 VLA 로봇 정책 파인튜닝.
• Kunlun XPU 하드웨어에서 대규모 모델 학습 워크로드 실행.

사용 전 알아둘 점

• !NVIDIA GPU 또는 Kunlun XPU가 필요하므로 다른 하드웨어를 대상으로 하지 않습니다.
• !소스 코드는 2026년 4월에야 공개되었고 첫 태그 릴리스도 v0.1.0이므로 아직 초기 단계의 프로젝트입니다.

토픽

자주 묻는 질문

LoongForge은(는) 무엇인가요?

Megatron-LM 및 torch 네이티브 백엔드를 기반으로 NVIDIA GPU와 Kunlun XPU에서 LLM, VLM, diffusion 및 embodied 모델을 학습하는 프레임워크입니다. Baidu AI Cloud Baige 팀이 개발한 LoongForge는 LLM, vision-language 모델, diffusion 모델과 VLA 및 world-action 모델 같은 embodied 모델의 사전 학습, 중간 학습, SFT, LoRA를 지원하는 학습 프레임워크입니다. LLM, VLM, diffusion 워크로드는 Megatron 백엔드에서 실행되고, embodied 모델은 DDP, ZeRO-1, FSDP, HSDP를 지원하는 torch 네이티브 백엔드를 사용합니다.

LoongForge은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

LoongForge은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

LoongForge은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. LoongForge의 마지막 커밋은 2026년 10월 19일입니다.

LoongForge은(는) 어디에 사용할 수 있나요?

멀티노드 GPU 클러스터에서 대규모 MoE 언어 모델을 사전 학습하거나 파인튜닝. ViT와 LLM 부분에 서로 다른 병렬 처리 설정을 적용해 vision-language 모델 학습. LIBERO 데이터로 Pi0.5 같은 VLA 로봇 정책 파인튜닝. Kunlun XPU 하드웨어에서 대규모 모델 학습 워크로드 실행.

LoongForge은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/baidu-baige/LoongForge