Un entorno de evaluación para probar LLM como agentes autónomos, con 300 tareas verificadas por personas y calificadas según su finalización, seguridad y robustez.
77976PythonMITActualizado hace 11 horas
camel-ai/crab
Framework de Python para crear benchmarks entre entornos que evalúan agentes multimodales con LLM en entornos en memoria, Docker, VM y máquinas físicas.
- Estrellas
- 430
- Forks
- 64
- Issues abiertos
- 39
- Último commit
- hace 3 días
¿Qué es?
CRAB es un framework de Python para crear entornos de benchmark que ponen a prueba agentes con LLM. Los entornos pueden ejecutarse en memoria, alojarse en Docker, correr en máquinas virtuales o distribuirse entre máquinas físicas, siempre que se pueda acceder a ellos mediante funciones de Python. Un agente puede acceder a varios de estos entornos a la vez a través de una única interfaz.
Las acciones se definen añadiendo el decorador @action a una función de Python, y los entornos se construyen combinando varias acciones. Las tareas y sus evaluadores también se escriben en Python sin dependencias adicionales. El proyecto también presenta un evaluador basado en grafos que genera métricas detalladas.
El repositorio incluye los datasets y el código de experimentación de CRAB-Benchmark-v0, además de scripts de ejemplo para ejecutar una plantilla de un solo entorno o de varios entornos con un agente de OpenAI. Requiere Python 3.10 o posterior y se instala con pip como crab-framework.
Funciones clave
- 01Admite entornos en memoria, Docker, VM y máquinas físicas distribuidas.
- 02Expone varios entornos a un agente a través de una interfaz unificada.
- 03Convierte cualquier función de Python en una acción para el agente mediante el decorador @action.
- 04Define tareas y evaluadores en Python.
- 05Incluye un evaluador basado en grafos que genera métricas detalladas.
Casos de uso
- Evaluar agentes multimodales con LLM en entornos de escritorio, web y dispositivos móviles.
- Crear entornos de prueba personalizados para agentes a partir de funciones de Python.
- Reproducir los experimentos de CRAB-Benchmark-v0.
Inicio rápido
- 1
Instala los requisitos previos: Python 3.10 o posterior
- 2
Instala el paquete cliente del framework CRAB
pip install crab-framework[client] - 3
Configura tu clave de API de OpenAI
export OPENAI_API_KEY=<your api key> - 4
Ejecuta el ejemplo de plantilla de entorno único con un agente de OpenAI
python examples/single_env.py
Antes de usarlo
- El README no indica ninguna licencia, por lo que los derechos de uso no están claros.
- Para ejecutar los ejemplos se necesita una clave de API de OpenAI.
- Algunos entornos (Docker, máquinas virtuales y equipos físicos) requieren una configuración considerable para el autoalojamiento.
En colecciones
Temas
Preguntas frecuentes
- ¿Qué es crab?
- Framework de Python para crear benchmarks entre entornos que evalúan agentes multimodales con LLM en entornos en memoria, Docker, VM y máquinas físicas. CRAB es un framework de Python para crear entornos de benchmark que ponen a prueba agentes con LLM. Los entornos pueden ejecutarse en memoria, alojarse en Docker, correr en máquinas virtuales o distribuirse entre máquinas físicas, siempre que se pueda acceder a ellos mediante funciones de Python. Un agente puede acceder a varios de estos entornos a la vez a través de una única interfaz.
- ¿crab es gratuito? ¿Qué licencia tiene?
- crab no declara ninguna licencia. Su código es público, pero sin licencia no tienes permiso explícito para reutilizarlo; consulta al autor antes de depender de él.
- ¿crab sigue mantenido?
- Mantenimiento activo. El último commit de crab fue el 19 oct 2026.
- ¿Para qué puedo usar crab?
- Evaluar agentes multimodales con LLM en entornos de escritorio, web y dispositivos móviles. Crear entornos de prueba personalizados para agentes a partir de funciones de Python. Reproducir los experimentos de CRAB-Benchmark-v0.
- ¿Cómo se instala crab?
- Instala los requisitos previos: Python 3.10 o posterior Instala el paquete cliente del framework CRAB: pip install crab-framework[client] Configura tu clave de API de OpenAI: export OPENAI_API_KEY=<your api key> Ejecuta el ejemplo de plantilla de entorno único con un agente de OpenAI: python examples/single_env.py
- ¿Dónde consigo crab?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/camel-ai/crab
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Stack de agentes de IA multimodales de código abierto de ByteDance, con CLI y Web UI (Agent TARS) y una app de agente de escritorio con GUI (UI-TARS Desktop).
39,4 mil4 milTypeScriptApache-2.0Actualizado hace 14 días
Un simulador en Python en el que agentes LLM imitan hasta un millón de usuarios en redes sociales similares a Twitter y Reddit para estudiar la difusión de información y la polarización.
IA y Machine Learning#agent-based-simulation#llm-agents#multi-agent-systems#social-media#large-language-models
5,3 mil653PythonApache-2.0Actualizado hace 3 días
Framework personalizable para evaluar LLM, VLM y modelos AIGC con benchmarks, además de pruebas de estrés del rendimiento de inferencia y paneles de resultados.
3,6 mil532PythonApache-2.0Actualizado hace 9 horas
Benchmark conversacional con estado para evaluar cómo los agentes LLM usan herramientas, con simulador de usuario integrado y puntuación basada en hitos.
28833PythonOtherActualizado el mes pasado
Framework unificado para evaluar modelos de lenguaje con pocos ejemplos en decenas de benchmarks académicos estándar.
14,3 mil3,7 milPythonMITActualizado el mes pasado