Repolode
Предложить
camel-ai

camel-ai/crab

Python-фреймворк для создания кросс-средовых бенчмарков, оценивающих мультимодальных LLM-агентов в in-memory-средах, Docker, виртуальных машинах и на физических машинах.

Открыть на GitHubСайт
Звёзды
430
Форки
64
Открытые issues
39
Последний коммит
3 дня назад

Что это?

CRAB — это Python-фреймворк для создания бенчмарков, проверяющих LLM-агентов. Среды могут работать in-memory, размещаться в Docker, запускаться на виртуальных машинах или распределяться между физическими машинами — главное, чтобы к ним можно было обращаться через Python-функции. Агент может одновременно работать с несколькими такими средами через единый интерфейс.

Чтобы определить действие, достаточно добавить декоратор @action к Python-функции; среда собирается из нескольких действий. Задачи и оценщики также пишутся на чистом Python. Кроме того, в проекте есть оценщик на основе графа, который формирует детализированные метрики.

В репозитории есть наборы данных CRAB-Benchmark-v0 и код экспериментов, а также примеры скриптов для запуска шаблона с одной или несколькими средами и агентом OpenAI. Требуется Python 3.10 или новее; пакет устанавливается через pip под именем crab-framework.

Ключевые возможности

  • 01Поддерживает in-memory-среды, Docker, VM и распределённые среды на физических машинах.
  • 02Предоставляет агенту доступ к нескольким средам через единый интерфейс.
  • 03Позволяет превратить любую Python-функцию в действие агента с помощью декоратора @action.
  • 04Позволяет определять задачи и оценщики на Python.
  • 05Предоставляет графовый оценщик для получения детализированных метрик.

Сценарии использования

  • Бенчмаркинг мультимодальных LLM-агентов в средах, имитирующих работу с компьютером, вебом и мобильными устройствами.
  • Создание собственных тестовых сред для агентов на основе Python-функций.
  • Воспроизведение экспериментов CRAB-Benchmark-v0.

Быстрый старт

  1. 1

    Установите предварительные требования: Python 3.10 или новее

  2. 2

    Установите клиентский пакет фреймворка CRAB

    pip install crab-framework[client]
  3. 3

    Укажите свой API-ключ OpenAI

    export OPENAI_API_KEY=<your api key>
  4. 4

    Запустите пример шаблона для одной среды с агентом OpenAI

    python examples/single_env.py

Что важно знать

  • В README не указана лицензия, поэтому права на использование неясны.
  • Для запуска примеров требуется API-ключ OpenAI.
  • Для некоторых сред (Docker, виртуальные и физические машины) требуется значительная настройка для самостоятельного хостинга.

В подборках

Open source фреймворки и приложения для ИИ-агентовФреймворки тестирования и инструменты автоматизации тестов

Темы

#ai-agent#benchmark#llm-evaluation#multimodal#python#docker#gui-automation#language-model-agent#large-language-models#multi-agent-systems

Частые вопросы

Что такое crab?
Python-фреймворк для создания кросс-средовых бенчмарков, оценивающих мультимодальных LLM-агентов в in-memory-средах, Docker, виртуальных машинах и на физических машинах. CRAB — это Python-фреймворк для создания бенчмарков, проверяющих LLM-агентов. Среды могут работать in-memory, размещаться в Docker, запускаться на виртуальных машинах или распределяться между физическими машинами — главное, чтобы к ним можно было обращаться через Python-функции. Агент может одновременно работать с несколькими такими средами через единый интерфейс.
crab можно использовать бесплатно? Какая у него лицензия?
У crab не указана лицензия. Код открыт, но без лицензии нет явного разрешения на его использование — уточните у автора, прежде чем на него полагаться.
crab всё ещё поддерживается?
Активно поддерживается. Последний коммит в crab — 19 окт. 2026 г..
Для чего можно использовать crab?
Бенчмаркинг мультимодальных LLM-агентов в средах, имитирующих работу с компьютером, вебом и мобильными устройствами. Создание собственных тестовых сред для агентов на основе Python-функций. Воспроизведение экспериментов CRAB-Benchmark-v0.
Как установить crab?
Установите предварительные требования: Python 3.10 или новее Установите клиентский пакет фреймворка CRAB: pip install crab-framework[client] Укажите свой API-ключ OpenAI: export OPENAI_API_KEY=<your api key> Запустите пример шаблона для одной среды с агентом OpenAI: python examples/single_env.py
Где скачать crab?
Исходный код и инструкции по установке — на GitHub: https://github.com/camel-ai/crab

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

camel-ai / oasis

Симулятор на Python, в котором LLM-агенты имитируют до миллиона пользователей социальных платформ в стиле Twitter и Reddit, чтобы изучать распространение информации и поляризацию.

ИИ и машинное обучение#agent-based-simulation#llm-agents#multi-agent-systems
5,3 тыс.653PythonApache-2.0Обновлён 3 дня назад