에이전트 작업을 평가하며 반복 실행하고, 유용한 교훈을 남겨 다음 실행에 활용하는 재귀적 자기 개선 하네스입니다.
simple-agent-lab/RSIHub
후보 에이전트 세대별 계보를 기록하며 평가자 주도로 에이전트를 자가 개선하는 Python 프레임워크입니다.
- 스타
- 341
- 포크
- 19
- 열린 이슈
- 7
- 마지막 커밋
- 11일 전
어떤 프로젝트인가요?
RSIHub는 고정된 평가자를 기준으로 후보 AI 에이전트를 실행하고, 각 세대에서 무엇이 왜 바뀌었는지 기록합니다. 평가자는 변경하지 않은 채 검증된 개선 사항을 다음 세대로 이어갑니다. 각 진화 전략은 레시피로 정의되며, 부모 에이전트를 선택하고 실행 트레이스를 분석한 뒤 선언된 변경 가능 범위 안에서 수정을 제안하고, 어떤 후보를 채택할지 결정합니다.
모든 실험은 컨테이너 실행, 궤적 캡처, 작업별 검증을 제공하는 Harbor에서 수행됩니다. 후보는 깨끗한 스냅샷을 기준으로 점수를 받고, 스탬프가 찍힌 아카이브 기록과 Git 세대 태그를 바탕으로 결과를 다시 계산합니다. 변경 가능 범위에는 프롬프트, 스킬, 하네스, 대상 에이전트 코드가 포함될 수 있으며, hill_climb, aevolve, ahe, gepa, hyperagents 등의 레시피가 제공됩니다.
프로젝트에는 생성된 작업 공간을 읽기 전용으로 살펴보는 실험 뷰어 `evolve view`도 포함되어 있습니다. 이 뷰어에서는 세대 진행 상황, 수정 사항, 점수, 실험 결과를 확인할 수 있습니다. 현재 활발히 연구가 진행 중인 프로토타입입니다.
핵심 기능
- 01후보 에이전트가 평가 기준을 바꾸지 못하도록 평가자를 고정합니다.
- 02각 레시피에서 수정 가능한 대상 및 연산자 경로를 선언합니다.
- 03에이전트 코드의 깨끗한 스냅샷을 기준으로 후보의 점수를 계산합니다.
- 04스탬프가 찍힌 archive.jsonl 항목과 Git 세대 태그에 계보를 기록합니다.
- 05컨테이너 실행과 궤적 캡처를 지원하는 Harbor에서 실험을 수행합니다.
- 06세대와 실험 결과를 확인할 수 있는 읽기 전용 실험 뷰어를 제공합니다.
활용 사례
- 고정된 평가 모음으로 에이전트의 프롬프트, 스킬 또는 하네스 코드를 개선합니다.
- 동일한 평가 및 변경 범위에서 에이전트 진화 전략을 비교합니다.
- 에이전트 버전이 어떻게 만들어졌는지 재현 가능하고 감사할 수 있는 기록으로 보관합니다.
빠른 시작
- 1
공유 Terminal-Bench 2.0 하위 집합을 설정합니다
./scripts/setup_terminal_bench.sh - 2
지원되는 레시피 데모를 실행합니다
./scripts/run_recipe_demo.sh - 3
빠른 시작 가이드에서 사전 요구 사항과 자격 증명 설정을 확인합니다
- 4
읽기 전용 뷰어에서 생성된 실험 작업 공간을 둘러봅니다
evolve view /path/to/experiment
사용 전 알아둘 점
- Python 3.12 이상이 필요합니다.
- 벤치마크 실행에는 GPT-5.4와 Codex mutate operator가 사용되므로, 해당 유료 모델 API에 액세스할 수 있어야 합니다.
포함된 컬렉션
토픽
자주 묻는 질문
- RSIHub은(는) 무엇인가요?
- 후보 에이전트 세대별 계보를 기록하며 평가자 주도로 에이전트를 자가 개선하는 Python 프레임워크입니다. RSIHub는 고정된 평가자를 기준으로 후보 AI 에이전트를 실행하고, 각 세대에서 무엇이 왜 바뀌었는지 기록합니다. 평가자는 변경하지 않은 채 검증된 개선 사항을 다음 세대로 이어갑니다. 각 진화 전략은 레시피로 정의되며, 부모 에이전트를 선택하고 실행 트레이스를 분석한 뒤 선언된 변경 가능 범위 안에서 수정을 제안하고, 어떤 후보를 채택할지 결정합니다.
- RSIHub은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- RSIHub은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- RSIHub은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. RSIHub의 마지막 커밋은 2026년 10월 27일입니다.
- RSIHub은(는) 어디에 사용할 수 있나요?
- 고정된 평가 모음으로 에이전트의 프롬프트, 스킬 또는 하네스 코드를 개선합니다. 동일한 평가 및 변경 범위에서 에이전트 진화 전략을 비교합니다. 에이전트 버전이 어떻게 만들어졌는지 재현 가능하고 감사할 수 있는 기록으로 보관합니다.
- RSIHub는 어떻게 설치하나요?
- 공유 Terminal-Bench 2.0 하위 집합을 설정합니다: ./scripts/setup_terminal_bench.sh 지원되는 레시피 데모를 실행합니다: ./scripts/run_recipe_demo.sh 빠른 시작 가이드에서 사전 요구 사항과 자격 증명 설정을 확인합니다 읽기 전용 뷰어에서 생성된 실험 작업 공간을 둘러봅니다: evolve view /path/to/experiment
- RSIHub은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/simple-agent-lab/RSIHub
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
Google의 코드 우선 Python 프레임워크로, Gemini에 최적화되어 있지만 특정 모델에 종속되지 않으며 AI 에이전트를 구축·평가·배포할 수 있습니다.
도구를 사용하고 텍스트와 음성으로 가상 사용자와 대화하는 고객 서비스 AI 에이전트를 평가하는 시뮬레이션 벤치마크입니다.
실패한 시도에서 학습해 코딩 에이전트용 재사용 가능한 스킬과 프롬프트를 자동으로 생성하고 개선하는 오픈 소스 프레임워크입니다.
실행 중인 RStudio 또는 Positron 세션을 Claude Code, Codex 및 MCP 기반 LLM 에이전트와 연결하는 R-Python 브리지입니다.
학술 논문, 사전 분석 계획, 연구비 제안서와 분석 코드를 검토하고 논문을 브리프나 슬라이드 덱으로 만드는 Claude Code 스킬 모음입니다.