Repolode
제출하기
verl-project

verl-project/verl

verl은 HybridFlow 논문을 기반으로 대규모 언어 모델의 후속 학습을 위한 오픈소스 강화 학습 라이브러리입니다.

GitHub에서 보기웹사이트
스타
23,942
포크
4,779
열린 이슈
1,366
마지막 커밋
5시간 전

어떤 프로젝트인가요?

verl은 대규모 언어 모델을 위한 RL 학습 라이브러리로, ByteDance Seed 팀이 처음 공개했으며 현재는 커뮤니티에서 유지 관리하고 있습니다. PPO와 GRPO 같은 후속 학습 워크플로를 대상으로 하며, 기존 학습 및 추론 엔진을 대체하지 않고 연동하도록 설계되었습니다.

이 프레임워크는 하이브리드 컨트롤러 프로그래밍 모델을 통해 연산과 데이터 의존성을 분리하므로, 몇 줄의 코드로 RL 데이터 흐름을 표현할 수 있습니다. 학습에는 FSDP, FSDP2, Megatron-LM을 지원하고, 롤아웃 생성에는 vLLM, SGLang, HF Transformers를 지원합니다. 모델을 서로 다른 GPU 그룹에 유연하게 배치할 수 있으며, 3D-HybridEngine은 학습 단계와 생성 단계 사이에서 액터 모델을 재샤딩합니다.

핵심 RL 알고리즘 외에도 verl에는 지도 미세 조정, LoRA, 멀티턴 도구 호출, 비전-언어 모델을 위한 멀티모달 RL, wandb, swanlab, mlflow, tensorboard를 이용한 실험 추적 기능이 포함되어 있습니다. NVIDIA, AMD ROCm, Ascend 하드웨어에서 실행됩니다.

핵심 기능

  • 01PPO, GRPO, GSPO, REINFORCE++, RLOO, DAPO 등 다양한 RL 알고리즘을 지원합니다.
  • 02학습용 FSDP, Megatron-LM과 롤아웃용 vLLM, SGLang을 연동합니다.
  • 03Qwen, Llama, Gemma 등 Hugging Face 모델을 사용할 수 있습니다.
  • 04대규모 MoE 모델을 위한 LoRA, 시퀀스 패킹, 전문가 병렬 처리를 지원합니다.
  • 05멀티턴 도구 호출과 비전-언어 모델을 위한 멀티모달 RL을 지원합니다.
  • 06NVIDIA, AMD ROCm, Ascend 하드웨어에서 실행됩니다.

활용 사례

  • 검증 가능한 보상을 활용해 수학 또는 코딩 추론을 위한 LLM 후속 학습을 수행합니다.
  • 여러 GPU로 구성된 클러스터에서 GRPO 또는 PPO를 대규모로 실행합니다.
  • 여러 턴에 걸쳐 도구를 호출하는 LLM 에이전트를 학습합니다.
  • 멀티모달 입력을 사용하는 비전-언어 모델에 RL을 적용합니다.

사용 전 알아둘 점

  • 대규모 모델을 학습하려면 GPU 하드웨어가 필요하며, 주요 기능은 멀티 GPU 클러스터를 대상으로 합니다.
  • 제공된 README 발췌에는 설치 또는 실행 명령이 없으므로, 설정 단계는 전체 문서를 참조해야 합니다.

토픽

#reinforcement-learning#llm#rlhf#post-training#ppo#grpo#distributed-training#vllm

자주 묻는 질문

verl은(는) 무엇인가요?
verl은 HybridFlow 논문을 기반으로 대규모 언어 모델의 후속 학습을 위한 오픈소스 강화 학습 라이브러리입니다. verl은 대규모 언어 모델을 위한 RL 학습 라이브러리로, ByteDance Seed 팀이 처음 공개했으며 현재는 커뮤니티에서 유지 관리하고 있습니다. PPO와 GRPO 같은 후속 학습 워크플로를 대상으로 하며, 기존 학습 및 추론 엔진을 대체하지 않고 연동하도록 설계되었습니다.
verl은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
verl은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
verl은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. verl의 마지막 커밋은 2026년 10월 20일입니다.
verl은(는) 어디에 사용할 수 있나요?
검증 가능한 보상을 활용해 수학 또는 코딩 추론을 위한 LLM 후속 학습을 수행합니다. 여러 GPU로 구성된 클러스터에서 GRPO 또는 PPO를 대규모로 실행합니다. 여러 턴에 걸쳐 도구를 호출하는 LLM 에이전트를 학습합니다. 멀티모달 입력을 사용하는 비전-언어 모델에 RL을 적용합니다.
verl은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/verl-project/verl

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트