Repolode
제출하기
NVIDIA-NeMo

NVIDIA-NeMo/labs-molt

Ray, vLLM, NVIDIA AutoModel과 FSDP2를 결합해 비동기 멀티턴 에이전트 학습을 지원하는, PyTorch와 HuggingFace 기반의 에이전트 우선 RL 연구 프레임워크입니다.

GitHub에서 보기
스타
1,219
포크
124
열린 이슈
26
마지막 커밋
그저께

어떤 프로젝트인가요?

Molt는 에이전트 작업에서 LLM과 VLM을 학습하기 위한 강화 학습 프레임워크입니다. 보상 로직은 Env 또는 ChatAgent 하위 클래스 안에 일반 Python 코드로 작성하며, 채점기, 멀티턴 도구 사용, 비전-언어 환경, LLM-as-judge 방식의 점수 산정을 지원합니다. Ray는 배치와 비동기 큐를 처리하고, vLLM은 롤아웃을 실행하며, NVIDIA AutoModel과 FSDP2는 순수 PyTorch 환경에서 학습을 수행합니다.

이 프레임워크는 SFT와 온라인 RL을 지원하며, REINFORCE, GRPO, RLOO, GAE 기반 PPO, 온폴리시 증류 등의 추정기를 제공합니다. 병렬 처리 방식에는 MoE 모델을 위한 텐서·전문가·컨텍스트 병렬 처리와 옵티마이저 CPU 오프로드가 포함됩니다. 비동기 큐를 통해 롤아웃과 학습을 겹쳐 실행하고, 생성부터 학습까지 토큰 ID, logprobs, 멀티모달 텐서의 정렬을 유지합니다.

코드베이스는 RL 코드 약 9.2K줄로 구성되어 있으며, CUDA 13 컨테이너를 사용하거나 특정 AutoModel 커밋을 고정하는 로컬 pip 설치 방식으로 설치할 수 있습니다.

핵심 기능

  • 01Env 및 ChatAgent 인터페이스를 사용하면 멀티턴 도구와 VLM 작업을 포함한 보상 함수를 일반 Python 코드로 작성할 수 있습니다.
  • 02Ray 기반 비동기 롤아웃 큐를 사용해 vLLM 생성과 FSDP2 학습을 겹쳐 실행합니다.
  • 03대규모 MoE 모델을 위한 TP, EP, CP 병렬 처리와 옵티마이저 CPU 오프로드를 지원합니다.
  • 04REINFORCE, GRPO, RLOO, GAE를 적용한 PPO, 온폴리시 증류 등의 추정기를 제공합니다.
  • 05토큰 단위 정렬을 통해 학습 전반에서 ID, logprobs, 액션 범위, 멀티모달 텐서의 일관성을 유지합니다.
  • 06롤아웃 엔진에서 OpenAI 및 Anthropic 호환 엔드포인트를 제공해 외부 에이전트 하네스에서 사용할 수 있습니다.

활용 사례

  • 커스텀 채점기를 사용해 수학 또는 코딩 작업에서 LLM의 RL 파인튜닝을 연구합니다.
  • 멀티턴 Python 도구 사용을 지원하는 비전-언어 모델을 학습합니다.
  • 더 큰 교사 체크포인트에서 더 작은 학생 모델로 온폴리시 증류를 수행합니다.
  • 여러 GPU 노드에 걸쳐 대규모 MoE 모델로 RL 실험을 확장합니다.

빠른 시작

  1. 1

    저장소를 클론합니다

    git clone https://github.com/NVIDIA-NeMo/labs-molt.git
  2. 2

    프로젝트 디렉터리로 이동합니다

    cd labs-molt
  3. 3

    vLLM extras를 사용해 로컬에 설치합니다(CUDA 13 필요)

    pip install -e ".[vllm]"

사용 전 알아둘 점

  • CUDA 13(torch 2.13.0+cu130)이 필요합니다. CUDA 12 환경에서는 작동하지 않습니다.
  • 호스트 드라이버가 580보다 오래된 경우 로컬에 설치하지 말고 컨테이너를 사용해야 합니다.
  • PyPI의 molt-rl 패키지는 고정된 AutoModel 버전보다 업데이트가 늦어 지원되는 설치 경로가 아닙니다.

포함된 컬렉션

강화학습 프레임워크와 학습 환경

토픽

#reinforcement-learning#llm#agentic-rl#rlhf#pytorch#vllm#ray#fsdp#moe#context-parallelism

자주 묻는 질문

labs-molt은(는) 무엇인가요?
Ray, vLLM, NVIDIA AutoModel과 FSDP2를 결합해 비동기 멀티턴 에이전트 학습을 지원하는, PyTorch와 HuggingFace 기반의 에이전트 우선 RL 연구 프레임워크입니다. Molt는 에이전트 작업에서 LLM과 VLM을 학습하기 위한 강화 학습 프레임워크입니다. 보상 로직은 Env 또는 ChatAgent 하위 클래스 안에 일반 Python 코드로 작성하며, 채점기, 멀티턴 도구 사용, 비전-언어 환경, LLM-as-judge 방식의 점수 산정을 지원합니다. Ray는 배치와 비동기 큐를 처리하고, vLLM은 롤아웃을 실행하며, NVIDIA AutoModel과 FSDP2는 순수 PyTorch 환경에서 학습을 수행합니다.
labs-molt은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
labs-molt은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
labs-molt은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. labs-molt의 마지막 커밋은 2026년 11월 6일입니다.
labs-molt은(는) 어디에 사용할 수 있나요?
커스텀 채점기를 사용해 수학 또는 코딩 작업에서 LLM의 RL 파인튜닝을 연구합니다. 멀티턴 Python 도구 사용을 지원하는 비전-언어 모델을 학습합니다. 더 큰 교사 체크포인트에서 더 작은 학생 모델로 온폴리시 증류를 수행합니다. 여러 GPU 노드에 걸쳐 대규모 MoE 모델로 RL 실험을 확장합니다.
labs-molt는 어떻게 설치하나요?
저장소를 클론합니다: git clone https://github.com/NVIDIA-NeMo/labs-molt.git 프로젝트 디렉터리로 이동합니다: cd labs-molt vLLM extras를 사용해 로컬에 설치합니다(CUDA 13 필요): pip install -e ".[vllm]"
labs-molt은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/NVIDIA-NeMo/labs-molt

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트