LLM을 자율 에이전트로 평가하는 테스트 프레임워크로, 완료도·안전성·견고성을 기준으로 채점하는 사람이 검증한 300개 작업을 제공합니다.
camel-ai/crab
메모리 내, Docker, VM, 물리 머신 환경에서 멀티모달 LLM 에이전트를 평가하는 크로스 환경 벤치마크 구축용 Python 프레임워크입니다.
- 스타
- 430
- 포크
- 64
- 열린 이슈
- 39
- 마지막 커밋
- 3일 전
어떤 프로젝트인가요?
CRAB은 LLM 에이전트를 테스트하는 벤치마크 환경을 구축하기 위한 Python 프레임워크입니다. 환경은 Python 함수로 접근할 수 있기만 하면 메모리 내에 있거나, Docker에서 호스팅되거나, 가상 머신에서 실행되거나, 여러 물리 머신에 분산되어 있을 수 있습니다. 하나의 인터페이스를 통해 에이전트가 이러한 환경 여러 곳에 동시에 접근할 수 있습니다.
Python 함수에 @action 데코레이터를 추가해 액션을 정의하고, 여러 액션을 조합해 환경을 구성합니다. 태스크와 평가기도 일반 Python 코드로 작성합니다. 또한 세분화된 메트릭을 생성하는 그래프 기반 평가기를 제공합니다.
저장소에는 CRAB-Benchmark-v0 데이터셋과 실험 코드, 그리고 OpenAI 에이전트로 단일 환경 또는 다중 환경 템플릿을 실행하는 예제 스크립트가 포함되어 있습니다. Python 3.10 이상이 필요하며, pip install crab-framework 명령으로 설치합니다.
핵심 기능
- 01메모리 내, Docker, VM, 분산된 물리 머신 환경을 지원합니다.
- 02하나의 통합 인터페이스를 통해 에이전트에 여러 환경을 제공합니다.
- 03@action 데코레이터를 사용해 모든 Python 함수를 에이전트 액션으로 정의합니다.
- 04태스크와 평가기를 Python으로 정의합니다.
- 05세분화된 메트릭을 제공하는 그래프 평가기를 지원합니다.
활용 사례
- 데스크톱, 웹, 모바일 형태의 환경에서 멀티모달 LLM 에이전트를 벤치마킹합니다.
- Python 함수로 사용자 지정 에이전트 테스트 환경을 구축합니다.
- CRAB-Benchmark-v0 실험을 재현합니다.
빠른 시작
- 1
사전 요구 사항을 설치합니다: Python 3.10 이상
- 2
CRAB framework 클라이언트 패키지를 설치합니다
pip install crab-framework[client] - 3
OpenAI API 키를 설정합니다
export OPENAI_API_KEY=<your api key> - 4
OpenAI 에이전트를 사용해 단일 환경 템플릿 예제를 실행합니다
python examples/single_env.py
사용 전 알아둘 점
- README에 라이선스가 명시되어 있지 않아 사용 권한이 불분명합니다.
- 예제를 실행하려면 OpenAI API 키가 필요합니다.
- 일부 환경(Docker, VM, 물리 머신)은 셀프 호스팅을 위해 상당한 설정이 필요합니다.
토픽
자주 묻는 질문
- crab은(는) 무엇인가요?
- 메모리 내, Docker, VM, 물리 머신 환경에서 멀티모달 LLM 에이전트를 평가하는 크로스 환경 벤치마크 구축용 Python 프레임워크입니다. CRAB은 LLM 에이전트를 테스트하는 벤치마크 환경을 구축하기 위한 Python 프레임워크입니다. 환경은 Python 함수로 접근할 수 있기만 하면 메모리 내에 있거나, Docker에서 호스팅되거나, 가상 머신에서 실행되거나, 여러 물리 머신에 분산되어 있을 수 있습니다. 하나의 인터페이스를 통해 에이전트가 이러한 환경 여러 곳에 동시에 접근할 수 있습니다.
- crab은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- crab에는 명시된 라이선스가 없습니다. 코드는 공개되어 있지만 라이선스가 없으면 재사용 허가가 명확하지 않으므로, 사용 전에 작성자에게 문의하는 것이 좋습니다.
- crab은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. crab의 마지막 커밋은 2026년 10월 19일입니다.
- crab은(는) 어디에 사용할 수 있나요?
- 데스크톱, 웹, 모바일 형태의 환경에서 멀티모달 LLM 에이전트를 벤치마킹합니다. Python 함수로 사용자 지정 에이전트 테스트 환경을 구축합니다. CRAB-Benchmark-v0 실험을 재현합니다.
- crab는 어떻게 설치하나요?
- 사전 요구 사항을 설치합니다: Python 3.10 이상 CRAB framework 클라이언트 패키지를 설치합니다: pip install crab-framework[client] OpenAI API 키를 설정합니다: export OPENAI_API_KEY=<your api key> OpenAI 에이전트를 사용해 단일 환경 템플릿 예제를 실행합니다: python examples/single_env.py
- crab은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/camel-ai/crab
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
ByteDance의 오픈소스 멀티모달 AI 에이전트 스택으로, CLI/Web UI(Agent TARS)와 데스크톱 GUI 에이전트 앱(UI-TARS Desktop)을 제공합니다.
LLM 에이전트가 Twitter·Reddit과 유사한 소셜 플랫폼에서 최대 100만 명의 사용자를 모방해 정보 확산과 양극화를 연구하는 Python 시뮬레이터입니다.
벤치마크에서 LLM, VLM, AIGC 모델을 평가하고 추론 성능을 부하 테스트하며 결과를 대시보드에서 확인할 수 있는 맞춤형 프레임워크입니다.
LLM 에이전트의 도구 사용을 평가하는 상태 기반 대화형 벤치마크로, 사용자 시뮬레이터와 마일스톤 기반 채점 기능을 제공합니다.
수십 가지 표준 학술 벤치마크에서 언어 모델의 few-shot 평가를 실행하는 통합 프레임워크입니다.