AReaL은(는) 무엇인가요?

base_url만 바꿔 블랙박스 에이전트도 RL로 학습할 수 있는, LLM 추론 및 에이전트 모델 학습을 위한 대규모 비동기 강화 학습 시스템입니다. AReaL은 추론 모델과 에이전트 애플리케이션을 위한 LLM 강화 학습 인프라입니다. 롤아웃 생성과 모델 학습이 서로 기다리며 동기화될 필요가 없도록 완전 비동기 RL 학습 구조를 사용합니다.

AReaL은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

AReaL은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

AReaL은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. AReaL의 마지막 커밋은 2026년 10월 20일입니다.

AReaL은(는) 어디에 사용할 수 있나요?

GSM8K 같은 수학 벤치마크를 활용한 추론 모델 학습 코드를 다시 작성하지 않고 기존 에이전트의 RL 성능 개선 tau2-bench 또는 SWE 작업을 활용한 멀티턴 코딩 및 고객 서비스 에이전트 학습 Ray 또는 Slurm 방식의 GPU 클러스터에서 대규모 RL 실험 실행

AReaL는 어떻게 설치하나요?

저장소를 클론합니다: git clone https://github.com/areal-project/AReaL uv를 설치합니다: pip install uv 학습 패키지와 SGLang(CUDA)을 설치합니다: uv sync --extra cuda 단일 노드에서 GSM8K GRPO 예제를 실행합니다: python3 examples/math/gsm8k_rl.py --config examples/math/gsm8k_grpo.yaml scheduler.type=local

AReaL은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/areal-project/AReaL

areal-project/AReaL

base_url만 바꿔 블랙박스 에이전트도 RL로 학습할 수 있는, LLM 추론 및 에이전트 모델 학습을 위한 대규모 비동기 강화 학습 시스템입니다.

GitHub에서 보기 웹사이트

스타: 5,855
포크: 634
열린 이슈: 136
마지막 커밋: 2시간 전

어떤 프로젝트인가요?

AReaL은 추론 모델과 에이전트 애플리케이션을 위한 LLM 강화 학습 인프라입니다. 롤아웃 생성과 모델 학습이 서로 기다리며 동기화될 필요가 없도록 완전 비동기 RL 학습 구조를 사용합니다.

GRPO, GSPO, PPO, DAPO, REINFORCE++, RLOO, DPO 등 다양한 RL 알고리즘을 지원하며, max_head_offpolicyness를 0으로 설정하면 동기 모드로 실행할 수 있습니다. 학습 백엔드는 Megatron, PyTorch FSDP, PyTorch Archon을 지원하고, 추론에는 vLLM 또는 SGLang을 사용합니다. 예제 작업으로는 GSM8K 수학, 멀티턴 수학, 코딩 에이전트, tau2 고객 서비스, 검색 에이전트, 비전-언어 모델이 있습니다.

에이전트 개발자를 위해 AReaL은 블랙박스 에이전트를 대상으로 온라인 RL을 제공합니다. 기존 에이전트의 base_url과 api_key를 AReaL의 RL 서비스로 지정하면 코드 변경 없이 학습할 수 있습니다. uv와 flash-attn wheel로 설정하며, 단일 노드나 Ray 클러스터에서 실험을 실행할 수 있습니다.

핵심 기능

01처리량과 확장성을 높이는 완전 비동기 RL 학습
02base_url을 바꿔 블랙박스 에이전트에 온라인 RL 적용
03GRPO, GSPO, PPO, DAPO, DPO 등 다양한 알고리즘 지원
04학습 백엔드: Megatron, PyTorch FSDP, PyTorch Archon
05LoRA를 지원하는 추론 백엔드: vLLM, SGLang

활용 사례

GSM8K 같은 수학 벤치마크를 활용한 추론 모델 학습
코드를 다시 작성하지 않고 기존 에이전트의 RL 성능 개선
tau2-bench 또는 SWE 작업을 활용한 멀티턴 코딩 및 고객 서비스 에이전트 학습
Ray 또는 Slurm 방식의 GPU 클러스터에서 대규모 RL 실험 실행

빠른 시작

1
저장소를 클론합니다
git clone https://github.com/areal-project/AReaL
2
uv를 설치합니다
pip install uv
3
학습 패키지와 SGLang(CUDA)을 설치합니다
uv sync --extra cuda
4
단일 노드에서 GSM8K GRPO 예제를 실행합니다
python3 examples/math/gsm8k_rl.py --config examples/math/gsm8k_grpo.yaml scheduler.type=local

사용 전 알아둘 점

설정에는 NVIDIA CUDA GPU 환경과 flash-attn 같은 대규모 종속 패키지가 다수 필요합니다.
전체 학습과 추론에는 상당한 GPU 하드웨어가 필요하며, README에 안내된 flash-attn wheel은 Linux x86_64 및 특정 Python·CUDA 버전에만 해당합니다.

토픽

#reinforcement-learning #llm #agent #llm-reasoning #distributed-training #grpo #vllm #sglang #llm-agent #machine-learning-systems

자주 묻는 질문

AReaL은(는) 무엇인가요?: base_url만 바꿔 블랙박스 에이전트도 RL로 학습할 수 있는, LLM 추론 및 에이전트 모델 학습을 위한 대규모 비동기 강화 학습 시스템입니다. AReaL은 추론 모델과 에이전트 애플리케이션을 위한 LLM 강화 학습 인프라입니다. 롤아웃 생성과 모델 학습이 서로 기다리며 동기화될 필요가 없도록 완전 비동기 RL 학습 구조를 사용합니다.
AReaL은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?: AReaL은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
AReaL은(는) 아직 유지보수되고 있나요?: 활발히 유지보수 중. AReaL의 마지막 커밋은 2026년 10월 20일입니다.
AReaL은(는) 어디에 사용할 수 있나요?: GSM8K 같은 수학 벤치마크를 활용한 추론 모델 학습 코드를 다시 작성하지 않고 기존 에이전트의 RL 성능 개선 tau2-bench 또는 SWE 작업을 활용한 멀티턴 코딩 및 고객 서비스 에이전트 학습 Ray 또는 Slurm 방식의 GPU 클러스터에서 대규모 RL 실험 실행
AReaL는 어떻게 설치하나요?: 저장소를 클론합니다: git clone https://github.com/areal-project/AReaL uv를 설치합니다: pip install uv 학습 패키지와 SGLang(CUDA)을 설치합니다: uv sync --extra cuda 단일 노드에서 GSM8K GRPO 예제를 실행합니다: python3 examples/math/gsm8k_rl.py --config examples/math/gsm8k_grpo.yaml scheduler.type=local
AReaL은(는) 어디서 받을 수 있나요?: 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/areal-project/AReaL

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.