Um harness de avaliação para testar LLMs como agentes autônomos, com 300 tarefas verificadas por humanos e avaliadas por conclusão, segurança e robustez.
77976PythonMITAtualizado há 11 horas
camel-ai/crab
Framework Python para criar benchmarks entre ambientes e avaliar agentes multimodais com LLMs em ambientes em memória, Docker, VMs e máquinas físicas.
- Estrelas
- 430
- Forks
- 64
- Issues abertas
- 39
- Último commit
- há 3 dias
O que é?
CRAB é um framework Python para criar ambientes de benchmark que testam agentes com LLMs. Os ambientes podem ser executados em memória, hospedados no Docker, em máquinas virtuais ou distribuídos entre máquinas físicas, desde que possam ser acessados por funções Python. Um agente pode acessar vários desses ambientes ao mesmo tempo por meio de uma única interface.
As ações são definidas adicionando o decorador @action a uma função Python, e um ambiente é montado combinando várias ações. As tarefas e seus avaliadores também são escritos em Python puro. O projeto também apresenta um avaliador baseado em grafos que gera métricas detalhadas.
O repositório inclui os conjuntos de dados e o código de experimentos do CRAB-Benchmark-v0, além de scripts de exemplo que executam um template de ambiente único ou de múltiplos ambientes com um agente da OpenAI. É necessário usar Python 3.10 ou mais recente, e a instalação é feita com pip usando o pacote crab-framework.
Recursos principais
- 01Oferece suporte a ambientes em memória, Docker, VM e máquinas físicas distribuídas.
- 02Disponibiliza vários ambientes para um agente por meio de uma interface unificada.
- 03Transforma qualquer função Python em uma ação para o agente com o decorador @action.
- 04Define tarefas e avaliadores em Python.
- 05Oferece um avaliador baseado em grafos para gerar métricas detalhadas.
Casos de uso
- Avaliar agentes multimodais com LLMs em ambientes no estilo desktop, web e dispositivos móveis.
- Criar ambientes personalizados para testar agentes a partir de funções Python.
- Reproduzir os experimentos do CRAB-Benchmark-v0.
Início rápido
- 1
Instale os pré-requisitos: Python 3.10 ou superior
- 2
Instale o pacote cliente do framework CRAB
pip install crab-framework[client] - 3
Configure sua chave de API da OpenAI
export OPENAI_API_KEY=<your api key> - 4
Execute o exemplo de template de ambiente único com um agente da OpenAI
python examples/single_env.py
Antes de usar
- O README não informa uma licença, então os direitos de uso não estão claros.
- É necessária uma chave de API da OpenAI para executar os exemplos.
- Alguns ambientes (Docker, máquinas virtuais e máquinas físicas) exigem uma configuração considerável para hospedagem própria.
Em coleções
Tópicos
Perguntas frequentes
- O que é crab?
- Framework Python para criar benchmarks entre ambientes e avaliar agentes multimodais com LLMs em ambientes em memória, Docker, VMs e máquinas físicas. CRAB é um framework Python para criar ambientes de benchmark que testam agentes com LLMs. Os ambientes podem ser executados em memória, hospedados no Docker, em máquinas virtuais ou distribuídos entre máquinas físicas, desde que possam ser acessados por funções Python. Um agente pode acessar vários desses ambientes ao mesmo tempo por meio de uma única interface.
- crab é gratuito? Qual é a licença?
- crab não declara licença. O código é público, mas sem licença você não tem permissão explícita para reutilizá-lo; fale com o autor antes de depender dele.
- crab ainda é mantido?
- Manutenção ativa. O último commit de crab foi em 19 de out. de 2026.
- Para que posso usar crab?
- Avaliar agentes multimodais com LLMs em ambientes no estilo desktop, web e dispositivos móveis. Criar ambientes personalizados para testar agentes a partir de funções Python. Reproduzir os experimentos do CRAB-Benchmark-v0.
- Como instalar crab?
- Instale os pré-requisitos: Python 3.10 ou superior Instale o pacote cliente do framework CRAB: pip install crab-framework[client] Configure sua chave de API da OpenAI: export OPENAI_API_KEY=<your api key> Execute o exemplo de template de ambiente único com um agente da OpenAI: python examples/single_env.py
- Onde consigo crab?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/camel-ai/crab
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Stack open source de agentes de IA multimodais da ByteDance, com CLI/Web UI (Agent TARS) e um app de agente para desktop com GUI (UI-TARS Desktop).
39,4 mil4 milTypeScriptApache-2.0Atualizado há 14 dias
Um simulador em Python no qual agentes LLM imitam até um milhão de usuários em redes sociais como Twitter e Reddit para estudar a disseminação de informações e a polarização.
IA e Machine Learning#agent-based-simulation#llm-agents#multi-agent-systems#social-media#large-language-models
5,3 mil653PythonApache-2.0Atualizado há 3 dias
Framework personalizável para avaliar LLMs, VLMs e modelos de AIGC em benchmarks, testar o desempenho de inferência sob carga e visualizar resultados em dashboards.
3,6 mil532PythonApache-2.0Atualizado há 9 horas
Benchmark conversacional com estado para avaliar como agentes LLM usam ferramentas, com simulador de usuário integrado e pontuação baseada em marcos.
28833PythonOtherAtualizado mês passado
Framework unificado para executar avaliações few-shot de modelos de linguagem em dezenas de benchmarks acadêmicos padrão.
14,3 mil3,7 milPythonMITAtualizado mês passado