Repolode
제출하기
RUC-NLPIR

RUC-NLPIR/FlashRSI

AI 에이전트 하네스에서 30개 벤치마크를 대상으로 재귀적 자기 개선(RSI) 방법을 실행하고 비교하는 통합 Python 프레임워크입니다.

GitHub에서 보기웹사이트
스타
341
포크
21
열린 이슈
0
마지막 커밋
12시간 전

어떤 프로젝트인가요?

FlashRSI는 AI 에이전트의 재귀적 자기 개선을 위한 연구 프레임워크입니다. 12개의 RSI 알고리즘, 30개 벤치마크 모음, 4개 에이전트 하네스(MiniAgent, Claude Code, Codex, Pi)를 하나의 실험 인터페이스로 제공하므로, 새 runner를 작성하지 않고도 방법을 바꾸거나 비교할 수 있습니다. 실험은 YAML 또는 flashrsi CLI로 정의하며, RSI 방법, 대상 하네스, 작업자 모델, 벤치마크를 각각 독립적으로 선택할 수 있습니다.

이 프레임워크에서 하네스는 태그가 지정된 파일(프롬프트, 스킬, 도구, 설정, 런타임 코드)의 집합으로 표현되며, 이 파일들은 변경 불가능한 Snapshot으로 묶입니다. 각 실행은 후보 Snapshot, 민감 정보가 제거된 설정, 대상 및 작업자 실행 궤적, 메트릭, 마지막에 선택된 Snapshot을 기록합니다. 저장된 Snapshot은 진화 과정을 다시 실행하지 않고도 evaluate 명령으로 다른 벤치마크에서 재평가할 수 있습니다.

이 프로젝트는 공유된 체크아웃, 실행, 점수 산출 파이프라인에서 RSI 결과를 재현하거나 새로운 방법을 개발하려는 연구자를 대상으로 합니다. 알고리즘, 벤치마크, 하네스를 추가하는 방법을 안내하는 문서 사이트와 가이드도 포함되어 있습니다.

핵심 기능

  • 01OPRO, GEPA, EvoPrompt, ACE, Meta-Harness 등을 포함한 12가지 RSI 방법을 단일 인터페이스로 실행합니다.
  • 02QA, 수학, 코딩, 웹 조사, 문서, 도구 사용을 아우르는 30개 벤치마크 모음을 지원합니다.
  • 03MiniAgent, Claude Code, Codex, Pi를 편집하고 버전을 관리할 수 있는 Snapshot으로 변환합니다.
  • 04각 실행의 후보, 실행 궤적, 메트릭, 선택된 Snapshot을 기록합니다.
  • 05진화 과정을 다시 실행하지 않고도 저장된 Snapshot을 다른 벤치마크에서 평가할 수 있습니다.
  • 06YAML 파일이나 CLI 플래그로 설정할 수 있으며, 점 표기법을 사용한 재정의도 지원합니다.

활용 사례

  • 공유 파이프라인에서 에이전트 벤치마크를 대상으로 발표된 RSI 결과를 재현합니다.
  • 동일한 하네스와 벤치마크에서 여러 자기 개선 알고리즘을 비교합니다.
  • 진화시킨 에이전트 하네스가 인접 도메인 또는 도메인 외부 작업으로 전이되는지 테스트합니다.
  • 공통 실험 프레임워크에 새 RSI 방법이나 벤치마크를 추가합니다.

빠른 시작

  1. 1

    저장소를 클론합니다

    git clone https://github.com/RUC-NLPIR/FlashRSI.git
  2. 2

    디렉터리로 이동해 uv로 가상 환경을 만듭니다

    cd FlashRSI && uv venv --python 3.12 && source .venv/bin/activate
  3. 3

    모든 벤치마크 통합 기능을 포함해 프레임워크를 설치합니다

    uv sync --extra all
  4. 4

    API 키를 설정하고 소규모 RSI 실험을 실행합니다

    flashrsi run --config examples/quickstart.yaml

사용 전 알아둘 점

  • 실험을 실행하려면 대상 모델과 작업자 모델의 API 키가 필요합니다.
  • 일부 벤치마크에는 Docker가 필요하며, Harbor 작업에는 추가 설치가 필요합니다.
  • 아직 초기 단계인 프로젝트로, 스타가 70개뿐이며 Python 3.12가 필요합니다.

포함된 컬렉션

오픈소스 AI 에이전트 프레임워크와 앱

토픽

#ai-agents#self-improvement#llm#benchmark#prompt-optimization#research-framework#python#agent#recursive-self-improvement

자주 묻는 질문

FlashRSI은(는) 무엇인가요?
AI 에이전트 하네스에서 30개 벤치마크를 대상으로 재귀적 자기 개선(RSI) 방법을 실행하고 비교하는 통합 Python 프레임워크입니다. FlashRSI는 AI 에이전트의 재귀적 자기 개선을 위한 연구 프레임워크입니다. 12개의 RSI 알고리즘, 30개 벤치마크 모음, 4개 에이전트 하네스(MiniAgent, Claude Code, Codex, Pi)를 하나의 실험 인터페이스로 제공하므로, 새 runner를 작성하지 않고도 방법을 바꾸거나 비교할 수 있습니다. 실험은 YAML 또는 flashrsi CLI로 정의하며, RSI 방법, 대상 하네스, 작업자 모델, 벤치마크를 각각 독립적으로 선택할 수 있습니다.
FlashRSI은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
FlashRSI은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
FlashRSI은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. FlashRSI의 마지막 커밋은 2026년 11월 6일입니다.
FlashRSI은(는) 어디에 사용할 수 있나요?
공유 파이프라인에서 에이전트 벤치마크를 대상으로 발표된 RSI 결과를 재현합니다. 동일한 하네스와 벤치마크에서 여러 자기 개선 알고리즘을 비교합니다. 진화시킨 에이전트 하네스가 인접 도메인 또는 도메인 외부 작업으로 전이되는지 테스트합니다. 공통 실험 프레임워크에 새 RSI 방법이나 벤치마크를 추가합니다.
FlashRSI는 어떻게 설치하나요?
저장소를 클론합니다: git clone https://github.com/RUC-NLPIR/FlashRSI.git 디렉터리로 이동해 uv로 가상 환경을 만듭니다: cd FlashRSI && uv venv --python 3.12 && source .venv/bin/activate 모든 벤치마크 통합 기능을 포함해 프레임워크를 설치합니다: uv sync --extra all API 키를 설정하고 소규모 RSI 실험을 실행합니다: flashrsi run --config examples/quickstart.yaml
FlashRSI은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/RUC-NLPIR/FlashRSI

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트