Repolode
投稿する
camel-ai

camel-ai/crab

メモリ内、Docker、VM、物理マシンの各環境でマルチモーダルLLMエージェントを評価する、クロス環境ベンチマーク構築用のPythonフレームワークです。

GitHub で見る公式サイト
スター
430
フォーク
64
未解決の Issue
39
最終コミット
3 日前

これは何？

CRABは、LLMエージェントをテストするベンチマーク環境を構築するためのPythonフレームワークです。環境はメモリ内に置くことも、Docker上でホストすることも、仮想マシン上で実行することも、複数の物理マシンに分散させることもでき、Python関数を通じてアクセスできれば利用できます。単一のインターフェースから、エージェントが複数の環境に同時にアクセスできます。

Python関数に@actionデコレーターを付けてアクションを定義し、複数のアクションを組み合わせて環境を構成します。タスクと評価器も通常のPythonで記述できます。また、詳細な指標を生成するグラフベースの評価器も導入しています。

リポジトリにはCRAB-Benchmark-v0のデータセットと実験コードに加え、OpenAIエージェントを使って単一環境または複数環境のテンプレートを実行するサンプルスクリプトが含まれています。Python 3.10以降が必要で、pip install crab-frameworkでインストールできます。

主な機能

  • 01メモリ内、Docker、VM、分散した物理マシンの環境に対応します。
  • 02統一された単一のインターフェースを通じて、エージェントに複数の環境を公開します。
  • 03@actionデコレーターを使って、任意のPython関数をエージェントのアクションにできます。
  • 04タスクと評価器をPythonで定義できます。
  • 05詳細な指標を生成するグラフ評価器を提供します。

ユースケース

  • デスクトップ、Web、モバイル風の環境でマルチモーダルLLMエージェントをベンチマークする。
  • Python関数からカスタムのエージェントテスト環境を構築する。
  • CRAB-Benchmark-v0の実験を再現する。

クイックスタート

  1. 1

    前提条件をインストールします: Python 3.10 以降

  2. 2

    CRAB framework のクライアントパッケージをインストールします

    pip install crab-framework[client]
  3. 3

    OpenAI API キーを設定します

    export OPENAI_API_KEY=<your api key>
  4. 4

    OpenAI エージェントを使って、単一環境のテンプレート例を実行します

    python examples/single_env.py

使う前に知っておきたいこと

  • README にライセンスの記載がないため、利用条件が不明です。
  • サンプルの実行には OpenAI API キーが必要です。
  • 一部の環境（Docker、VM、物理マシン）では、セルフホスティングにかなりのセットアップが必要です。

収録されている特集

オープンソースの AI エージェント・フレームワークとアプリテストフレームワークと自動テストツール

トピック

#ai-agent#benchmark#llm-evaluation#multimodal#python#docker#gui-automation#language-model-agent#large-language-models#multi-agent-systems

よくある質問

crab とは？
メモリ内、Docker、VM、物理マシンの各環境でマルチモーダルLLMエージェントを評価する、クロス環境ベンチマーク構築用のPythonフレームワークです。 CRABは、LLMエージェントをテストするベンチマーク環境を構築するためのPythonフレームワークです。環境はメモリ内に置くことも、Docker上でホストすることも、仮想マシン上で実行することも、複数の物理マシンに分散させることもでき、Python関数を通じてアクセスできれば利用できます。単一のインターフェースから、エージェントが複数の環境に同時にアクセスできます。
crab は無料で使えますか？ライセンスは？
crab にはライセンスが明記されていません。コードは公開されていますが、ライセンスがない場合は再利用の許諾がないため、利用前に作者に確認することをおすすめします。
crab は今もメンテナンスされていますか？
活発にメンテナンス中。crab の最終コミットは 2026年10月19日 です。
crab は何に使えますか？
デスクトップ、Web、モバイル風の環境でマルチモーダルLLMエージェントをベンチマークする。 Python関数からカスタムのエージェントテスト環境を構築する。 CRAB-Benchmark-v0の実験を再現する。
crab のインストール方法は？
前提条件をインストールします: Python 3.10 以降 CRAB framework のクライアントパッケージをインストールします: pip install crab-framework[client] OpenAI API キーを設定します: export OPENAI_API_KEY=<your api key> OpenAI エージェントを使って、単一環境のテンプレート例を実行します: python examples/single_env.py
crab はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/camel-ai/crab

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト