Repolode
제출하기
OpenPipe

OpenPipe/ART

기존 앱에 연결할 수 있는 클라이언트-서버 구조를 갖춘 Python RL 프레임워크로, GRPO를 사용해 LLM 에이전트가 직접 쌓은 경험으로 다단계 작업을 학습합니다.

GitHub에서 보기웹사이트
스타
10,813
포크
1,008
열린 이슈
171
마지막 커밋
8시간 전

어떤 프로젝트인가요?

ART(Agent Reinforcement Trainer)는 LLM 에이전트가 직접 쌓은 경험을 통해 성능을 개선하는 오픈소스 강화 학습 프레임워크입니다. 개발자는 기존 에이전트 워크플로를 ART 클라이언트로 감싸 메시지 궤적을 수집하고 각 롤아웃에 보상을 부여한 다음, GRPO로 모델을 학습합니다.

시스템은 클라이언트와 서버로 나뉩니다. 클라이언트는 코드베이스에 포함되며 OpenAI 호환 인터페이스를 제공합니다. 서버는 GPU가 있는 모든 머신에서 실행되며, vLLM으로 추론을 처리하고 LoRA 업데이트로 학습한 뒤 새 체크포인트를 매번 학습 루프에 반영합니다. 클라이언트는 노트북에서 실행하고 서버는 로컬이나 원격 GPU 환경에서 실행할 수 있습니다.

프로젝트에는 이메일 검색, 2048, Tic Tac Toe, Codenames 등의 작업을 다루는 예제 노트북과 보상 자동 생성을 위한 RULER 옵션이 포함되어 있습니다. Qwen 및 Llama 계열을 비롯해 vLLM 및 Hugging Face transformers와 호환되는 causal language model을 지원하며, Weights & Biases를 통해 서버리스 학습 백엔드도 제공합니다.

핵심 기능

  • 01자체 워크플로에서 수집한 궤적을 바탕으로 GRPO를 사용해 다단계 에이전트를 학습합니다.
  • 02OpenAI 호환 클라이언트 인터페이스를 갖춘 클라이언트-서버 아키텍처입니다.
  • 03vLLM에서 추론을 실행하고 LoRA 체크포인트를 통해 모델을 업데이트합니다.
  • 04RULER를 통한 보상 자동 생성을 지원합니다.
  • 05게임, 이메일 검색, SFT 증류를 다루는 예제 노트북을 제공합니다.
  • 06관측 가능성을 위해 LangGraph, Langfuse, Weights & Biases와 연동합니다.

활용 사례

  • 기존 LLM 에이전트의 코드를 다시 작성하지 않고 도구 사용의 신뢰성을 높이는 경우.
  • Qwen 같은 소형 오픈 모델을 이메일 검색과 같은 제한된 다단계 작업에 맞게 학습하는 경우.
  • 노트북의 클라이언트에서 RL 실험을 실행하면서 원격 GPU 서버에서 학습하는 경우.
  • MCP 서버 도구를 호출하는 에이전트를 파인튜닝하는 경우.

빠른 시작

  1. 1

    PyPI에서 패키지를 설치합니다

    pip install openpipe-art

사용 전 알아둘 점

  • 학습에는 GPU가 필요하며, 로컬이나 ART 서버 또는 W&B 서버리스 서비스를 통해 사용할 수 있습니다.
  • 지원 모델은 vLLM/Hugging Face의 인과 언어 모델로 제한됩니다. 현재 Gemma 3은 지원하지 않습니다.
  • 프로젝트 설명에 따르면 활발히 개발 중이므로 API가 변경될 수 있습니다.

토픽

#agent#reinforcement-learning#grpo#llm#lora#vllm#python#agentic-ai#llms#qwen

자주 묻는 질문

ART은(는) 무엇인가요?
기존 앱에 연결할 수 있는 클라이언트-서버 구조를 갖춘 Python RL 프레임워크로, GRPO를 사용해 LLM 에이전트가 직접 쌓은 경험으로 다단계 작업을 학습합니다. ART(Agent Reinforcement Trainer)는 LLM 에이전트가 직접 쌓은 경험을 통해 성능을 개선하는 오픈소스 강화 학습 프레임워크입니다. 개발자는 기존 에이전트 워크플로를 ART 클라이언트로 감싸 메시지 궤적을 수집하고 각 롤아웃에 보상을 부여한 다음, GRPO로 모델을 학습합니다.
ART은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
ART은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
ART은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. ART의 마지막 커밋은 2026년 10월 20일입니다.
ART은(는) 어디에 사용할 수 있나요?
기존 LLM 에이전트의 코드를 다시 작성하지 않고 도구 사용의 신뢰성을 높이는 경우. Qwen 같은 소형 오픈 모델을 이메일 검색과 같은 제한된 다단계 작업에 맞게 학습하는 경우. 노트북의 클라이언트에서 RL 실험을 실행하면서 원격 GPU 서버에서 학습하는 경우. MCP 서버 도구를 호출하는 에이전트를 파인튜닝하는 경우.
ART는 어떻게 설치하나요?
PyPI에서 패키지를 설치합니다: pip install openpipe-art
ART은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/OpenPipe/ART

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트