Repolode
camel-ai

camel-ai/crab

一个用 Python 构建跨环境基准测试的框架,用于评估多模态大语言模型智能体。

Star
430
Fork
64
未关闭 Issue
39
最近提交
3天前

这是什么?

CRAB 是一个用 Python 构建 LLM 智能体基准测试环境的框架。环境可以运行在内存中、Docker 容器、虚拟机,或分布在多台物理机上,只要能通过 Python 函数访问即可。智能体可以通过统一接口同时访问多个环境。

动作通过在 Python 函数上添加 @action 装饰器定义,再把若干动作组合成一个环境。任务和评估器同样用 Python 原生方式编写,项目还提出了一种图评估器,可提供细粒度指标。

仓库包含 CRAB-Benchmark-v0 数据集和实验代码,并提供示例脚本,可用 OpenAI 智能体运行单环境或多环境模板。需要 Python 3.10 及以上版本,通过 pip 安装 crab-framework。

核心功能

  • 01支持内存、Docker、虚拟机和分布式物理机等多种环境部署方式。
  • 02通过统一接口让智能体同时访问多个环境。
  • 03用 @action 装饰器把 Python 函数变为智能体动作。
  • 04用 Python 原生方式定义任务和评估器。
  • 05提供图评估器,输出细粒度指标。

适用场景

  • 在多种环境中评测多模态 LLM 智能体的能力。
  • 基于 Python 函数搭建自定义的智能体测试环境。
  • 复现 CRAB-Benchmark-v0 的实验结果。

快速上手

  1. 1

    安装前提条件:Python 3.10 或更高版本

  2. 2

    安装 CRAB 框架客户端包

    pip install crab-framework[client]
  3. 3

    设置你的 OpenAI API 密钥

    export OPENAI_API_KEY=<your api key>
  4. 4

    使用 OpenAI 智能体运行单环境模板示例

    python examples/single_env.py

使用前须知

  • README 未说明许可证,使用权限不明确。
  • 运行示例需要 OpenAI API 密钥。
  • 部分环境(Docker、虚拟机、物理机)需要较多自行部署配置。

收录于专题

标签

常见问题

crab 是什么?
一个用 Python 构建跨环境基准测试的框架,用于评估多模态大语言模型智能体。 CRAB 是一个用 Python 构建 LLM 智能体基准测试环境的框架。环境可以运行在内存中、Docker 容器、虚拟机,或分布在多台物理机上,只要能通过 Python 函数访问即可。智能体可以通过统一接口同时访问多个环境。
crab 可以免费使用吗?用的什么许可证?
crab 没有声明许可证。代码虽然公开,但没有许可证就没有明确的使用授权,正式使用前建议先联系作者。
crab 还在维护吗?
活跃维护中。crab 最近一次提交是在 2026年10月19日。
crab 适合用来做什么?
在多种环境中评测多模态 LLM 智能体的能力。 基于 Python 函数搭建自定义的智能体测试环境。 复现 CRAB-Benchmark-v0 的实验结果。
crab 怎么安装和运行?
安装前提条件:Python 3.10 或更高版本 安装 CRAB 框架客户端包: pip install crab-framework[client] 设置你的 OpenAI API 密钥: export OPENAI_API_KEY=<your api key> 使用 OpenAI 智能体运行单环境模板示例: python examples/single_env.py
在哪里获取 crab?
源代码和安装说明在 GitHub 上:https://github.com/camel-ai/crab

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目