用于评测大模型作为自主智能体能力的评测框架,包含 300 个人工验证任务。
camel-ai/crab
一个用 Python 构建跨环境基准测试的框架,用于评估多模态大语言模型智能体。
- Star
- 430
- Fork
- 64
- 未关闭 Issue
- 39
- 最近提交
- 3天前
这是什么?
CRAB 是一个用 Python 构建 LLM 智能体基准测试环境的框架。环境可以运行在内存中、Docker 容器、虚拟机,或分布在多台物理机上,只要能通过 Python 函数访问即可。智能体可以通过统一接口同时访问多个环境。
动作通过在 Python 函数上添加 @action 装饰器定义,再把若干动作组合成一个环境。任务和评估器同样用 Python 原生方式编写,项目还提出了一种图评估器,可提供细粒度指标。
仓库包含 CRAB-Benchmark-v0 数据集和实验代码,并提供示例脚本,可用 OpenAI 智能体运行单环境或多环境模板。需要 Python 3.10 及以上版本,通过 pip 安装 crab-framework。
核心功能
- 01支持内存、Docker、虚拟机和分布式物理机等多种环境部署方式。
- 02通过统一接口让智能体同时访问多个环境。
- 03用 @action 装饰器把 Python 函数变为智能体动作。
- 04用 Python 原生方式定义任务和评估器。
- 05提供图评估器,输出细粒度指标。
适用场景
- 在多种环境中评测多模态 LLM 智能体的能力。
- 基于 Python 函数搭建自定义的智能体测试环境。
- 复现 CRAB-Benchmark-v0 的实验结果。
快速上手
- 1
安装前提条件:Python 3.10 或更高版本
- 2
安装 CRAB 框架客户端包
pip install crab-framework[client] - 3
设置你的 OpenAI API 密钥
export OPENAI_API_KEY=<your api key> - 4
使用 OpenAI 智能体运行单环境模板示例
python examples/single_env.py
使用前须知
- README 未说明许可证,使用权限不明确。
- 运行示例需要 OpenAI API 密钥。
- 部分环境(Docker、虚拟机、物理机)需要较多自行部署配置。
收录于专题
标签
常见问题
- crab 是什么?
- 一个用 Python 构建跨环境基准测试的框架,用于评估多模态大语言模型智能体。 CRAB 是一个用 Python 构建 LLM 智能体基准测试环境的框架。环境可以运行在内存中、Docker 容器、虚拟机,或分布在多台物理机上,只要能通过 Python 函数访问即可。智能体可以通过统一接口同时访问多个环境。
- crab 可以免费使用吗?用的什么许可证?
- crab 没有声明许可证。代码虽然公开,但没有许可证就没有明确的使用授权,正式使用前建议先联系作者。
- crab 还在维护吗?
- 活跃维护中。crab 最近一次提交是在 2026年10月19日。
- crab 适合用来做什么?
- 在多种环境中评测多模态 LLM 智能体的能力。 基于 Python 函数搭建自定义的智能体测试环境。 复现 CRAB-Benchmark-v0 的实验结果。
- crab 怎么安装和运行?
- 安装前提条件:Python 3.10 或更高版本 安装 CRAB 框架客户端包: pip install crab-framework[client] 设置你的 OpenAI API 密钥: export OPENAI_API_KEY=<your api key> 使用 OpenAI 智能体运行单环境模板示例: python examples/single_env.py
- 在哪里获取 crab?
- 源代码和安装说明在 GitHub 上:https://github.com/camel-ai/crab
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
77976PythonMIT更新于 13小时前
字节跳动开源的多模态 AI Agent 工具栈,包含 CLI 与 Web UI 版 Agent TARS 及桌面 GUI 智能体应用 UI-TARS Desktop。
3.9万3993TypeScriptApache-2.0更新于 14天前
基于大语言模型智能体的 Python 社交媒体模拟器,可模拟多达百万用户在类 Twitter、Reddit 平台上的互动。
5329653PythonApache-2.0更新于 3天前
一个可定制的大模型评测框架,覆盖 LLM、VLM 和 AIGC 模型的基准评测与推理性能压测。
3579532PythonApache-2.0更新于 11小时前
一个有状态、多轮对话式的基准测试,用于评估大模型agent的工具调用能力,内置用户模拟器。
28833PythonOther更新于 上个月
统一的语言模型少样本评测框架,覆盖大量标准学术基准测试。
1.4万3711PythonMIT更新于 上个月