Repolode
Enviar
vercel-labs

vercel-labs/agent-desktop

Una CLI y una biblioteca C que permiten a agentes de IA leer e interactuar con aplicaciones de escritorio en macOS, Windows y Linux mediante árboles de accesibilidad del sistema operativo.

Ver en GitHubSitio web
Estrellas
18,740
Forks
1,367
Issues abiertos
26
Último commit
hace 18 horas

¿Qué es?

agent-desktop permite que los agentes de IA usen el escritorio sin depender de capturas de pantalla ni de la coincidencia de píxeles. Una instantánea devuelve un JSON con todos los elementos sobre los que puede actuar un agente, cada uno con una ref estable. El agente actúa sobre una ref, toma otra instantánea para verificar el resultado y repite el proceso; el propio agente se encarga del ciclo de decisión.

Funciona en macOS, Windows y Linux. Se distribuye como paquete npm con binarios nativos para x64 y ARM64, o como archivos de las versiones publicadas. La compatibilidad con Linux depende de AT-SPI, y algunas funciones varían según la plataforma y el servidor gráfico, como X11 o Wayland. De forma predeterminada, las acciones sobre refs se ejecutan en modo headless: no mueven el puntero ni cambian el foco. La opción global --headed habilita la entrada física.

El proyecto también incluye una biblioteca C FFI para que otros programas puedan llamarlo dentro del mismo proceso, además de ejemplos en Python en el README. Las instantáneas y capturas de pantalla pueden contener información privada del escritorio, por lo que el proyecto explica cómo evitar que aparezcan en registros públicos.

Funciones clave

  • 01Devuelve instantáneas del árbol de accesibilidad en formato JSON, con una ref para cada elemento sobre el que se puede actuar.
  • 02Las refs están vinculadas a su instantánea; los destinos obsoletos o ambiguos se notifican como errores.
  • 03De forma predeterminada, las acciones headless sobre refs no mueven el puntero ni cambian el foco.
  • 04Permite observar, hacer clic, escribir, gestionar ventanas y usar el portapapeles y las notificaciones.
  • 05Incluye una biblioteca C FFI para hacer llamadas desde otros lenguajes dentro del mismo proceso.

Casos de uso

  • Permitir que un agente de IA use aplicaciones de escritorio nativas que no tienen API.
  • Automatizar flujos de trabajo repetitivos con interfaces gráficas en macOS, Windows o Linux.
  • Crear agentes que interactúen con el equipo y verifiquen cada acción con una nueva instantánea.
  • Integrar la automatización del escritorio en otros programas mediante la biblioteca C.

Inicio rápido

  1. 1

    Instala el paquete globalmente con npm

    npm install -g agent-desktop
  2. 2

    Comprueba la versión instalada

    agent-desktop version
  3. 3

    Concede el permiso de Accesibilidad en macOS (consulta la guía)

    agent-desktop permissions --guide
  4. 4

    Toma una captura interactiva de una aplicación como Finder

    agent-desktop snapshot --app Finder -i

Antes de usarlo

  • En macOS se requiere el permiso de Accesibilidad; en Linux se necesita una sesión gráfica con at-spi2-core.
  • Algunas funciones están limitadas según la plataforma, como las capturas de pantalla en Wayland y las notificaciones exclusivas de GNOME en Linux.
  • Los comandos key-down, key-up, mouse-down y mouse-up todavía no funcionan.
  • Las capturas interactivas y las capturas de pantalla pueden mostrar contenido privado del escritorio; no las incluyas en registros públicos.

En colecciones

Frameworks y apps de agentes de IA open sourceServidores MCPHerramientas de CLI y terminal

Temas

#computer-use#accessibility#desktop-automation#ai-agents#cli#rust#mcp#accessibility-api#automation#computer-use-agent

Preguntas frecuentes

¿Qué es agent-desktop?
Una CLI y una biblioteca C que permiten a agentes de IA leer e interactuar con aplicaciones de escritorio en macOS, Windows y Linux mediante árboles de accesibilidad del sistema operativo. agent-desktop permite que los agentes de IA usen el escritorio sin depender de capturas de pantalla ni de la coincidencia de píxeles. Una instantánea devuelve un JSON con todos los elementos sobre los que puede actuar un agente, cada uno con una ref estable. El agente actúa sobre una ref, toma otra instantánea para verificar el resultado y repite el proceso; el propio agente se encarga del ciclo de decisión.
¿agent-desktop es gratuito? ¿Qué licencia tiene?
agent-desktop es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿agent-desktop sigue mantenido?
Mantenimiento activo. El último commit de agent-desktop fue el 7 nov 2026.
¿Para qué puedo usar agent-desktop?
Permitir que un agente de IA use aplicaciones de escritorio nativas que no tienen API. Automatizar flujos de trabajo repetitivos con interfaces gráficas en macOS, Windows o Linux. Crear agentes que interactúen con el equipo y verifiquen cada acción con una nueva instantánea. Integrar la automatización del escritorio en otros programas mediante la biblioteca C.
¿Cómo se instala agent-desktop?
Instala el paquete globalmente con npm: npm install -g agent-desktop Comprueba la versión instalada: agent-desktop version Concede el permiso de Accesibilidad en macOS (consulta la guía): agent-desktop permissions --guide Toma una captura interactiva de una aplicación como Finder: agent-desktop snapshot --app Finder -i
¿Dónde consigo agent-desktop?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/vercel-labs/agent-desktop

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados