simular-ai/Agent-S

¿Qué es?

Funciones clave

• 01Controla aplicaciones de escritorio y web mediante el mouse, el teclado y la pantalla, sin integraciones específicas para cada aplicación.
• 02Es compatible con macOS, Windows y Linux.
• 03Funciona con modelos de OpenAI, Anthropic, Gemini, OpenRouter y vLLM.
• 04Usa un modelo de grounding independiente (por ejemplo, UI-TARS) para localizar elementos en pantalla.
• 05Ofrece una CLI y un SDK de Python; se instala con pip como gui-agents.
• 06Incluye un entorno local opcional para ejecutar código Python y Bash.

Casos de uso

• Automatizar tareas repetitivas en aplicaciones de escritorio y web.
• Investigar agentes que usan la computadora a nivel de sistema operativo y evaluarlos con OSWorld.
• Crear agentes personalizados que controlen software con GUI sin usar API.

Inicio rápido

1. 1

   Instala el paquete gui-agents con pip

   pip install gui-agents
2. 2

   Instala tesseract (necesario para pytesseract en macOS)

   brew install tesseract
3. 3

   Configura la clave de API de tu modelo como variable de entorno

   export OPENAI_API_KEY=<YOUR_API_KEY>
4. 4

   Ejecuta Agent S3 desde la CLI con un endpoint de modelo de grounding configurado

   agent_s --provider openai --model gpt-5-2025-08-07 --ground_provider huggingface --ground_url http://localhost:8080 --ground_model ui-tars-1.5-7b --grounding_width 1920 --grounding_height 1080

Antes de usarlo

• !Se necesita un modelo de grounding, como UI-TARS-1.5-7B, que requiere un endpoint alojado independiente.
• !El agente controla el ratón y el teclado reales y está diseñado para configuraciones con un solo monitor.
• !El entorno de programación local opcional ejecuta código arbitrario en tu equipo; úsalo con precaución.
• !Para ejecutarlo, se necesitan claves de API de modelos de pago de proveedores como OpenAI o Anthropic.

Temas

Preguntas frecuentes

¿Qué es Agent-S?

Framework open source para agentes que usan la computadora y controlan una GUI real con el mouse, el teclado y la pantalla para completar tareas en aplicaciones de escritorio y web. Agent S es un framework open source para crear agentes que usan la computadora. A partir de una tarea en lenguaje natural, observa la pantalla y completa el trabajo haciendo clic, escribiendo y desplazándose por aplicaciones habituales de escritorio y web, sin necesitar integraciones con API ni scripts específicos para cada aplicación.

¿Agent-S es gratuito? ¿Qué licencia tiene?

Agent-S es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.

¿Agent-S sigue mantenido?

Mantenimiento activo. El último commit de Agent-S fue el 8 oct 2026.

¿Para qué puedo usar Agent-S?

Automatizar tareas repetitivas en aplicaciones de escritorio y web. Investigar agentes que usan la computadora a nivel de sistema operativo y evaluarlos con OSWorld. Crear agentes personalizados que controlen software con GUI sin usar API.

¿Cómo se instala Agent-S?

Instala el paquete gui-agents con pip: pip install gui-agents Instala tesseract (necesario para pytesseract en macOS): brew install tesseract Configura la clave de API de tu modelo como variable de entorno: export OPENAI_API_KEY=<YOUR_API_KEY> Ejecuta Agent S3 desde la CLI con un endpoint de modelo de grounding configurado: agent_s --provider openai --model gpt-5-2025-08-07 --ground_provider huggingface --ground_url http://localhost:8080 --ground_model ui-tars-1.5-7b --grounding_width 1920 --grounding_height 1080

¿Dónde consigo Agent-S?

El código fuente y las instrucciones de instalación están en GitHub: https://github.com/simular-ai/Agent-S