lab
Esc

Prueba con

↑↓ para moverte · Enter para abrir · también en /buscar?q= para agentes

herramienta intermedio claude-codecomputer-useautomatizaciónaccesibilidad

Agent Desktop: opera aplicaciones desde su árbol de accesibilidad

Inspecciona los controles reales de una aplicación y automatiza acciones con referencias verificables desde la terminal.

✓ verificado el 26 oct 2026

Instrucciones para tu agente

Esto es lo que se copia. Pégaselo a tu agente y te lo monta paso a paso.

O ábrelo directamente en ClaudeChatGPT

Pega este texto a tu agente (Claude Code, Codex, OpenCode, Hermes o el que uses) y dile «ayúdame a montarlo». Son los pasos para ponerlo en marcha; el porqué de cada pieza está en la guía completa.

Para el agente: cómo acompañar al usuario

  1. Pregunta primero para qué lo quiere. Si su objetivo no necesita algún paso, sáltalo.
  2. Antes de instalar, comprueba lo que ya tiene (versiones, claves, sistema operativo).
  3. Avanza un paso cada vez: explica en una frase qué vas a hacer y deja que el usuario lo ejecute o lo apruebe.
  4. Tras cada paso, comprueba que funcionó antes de seguir. Si falla, para y explica el error.
  5. No inventes comandos ni opciones: si la documentación del proyecto contradice estos pasos, manda la documentación.
  6. Al terminar, haz una prueba real con el objetivo del usuario y dile dónde profundizar.

Pasos de configuración

Comprueba que tienes Node.js y npm para instalar el paquete. Para el ejemplo con Finder, usa macOS y concede Accesibilidad según la guía oficial antes de tomar la instantánea. En Linux, la guía apunta a Ubuntu 24.04+ con GNOME 46, glibc ≥2.35, at-spi2-core y una sesión gráfica; no basta una terminal SSH aislada.

Paso 1: instala y consulta el estado

npm install -g agent-desktop
agent-desktop status

Paso 2: carga las reglas de operación

agent-desktop skills get desktop
agent-desktop skills get platform

En macOS, abre una ventana de Finder y observa sus controles:

agent-desktop snapshot --app Finder -i

Usa únicamente referencias de tu propia instantánea para actuar.

Comprobación

Comprueba que el estado reconoce la plataforma y sus permisos. La instantánea debe devolver controles de la ventana elegida. Después de una acción, toma otra instantánea para verificar el cambio.

Si algo falla

En macOS consulta agent-desktop permissions --guide. En Linux comprueba la sesión gráfica y at-spi2-core. Si un control desaparece, vuelve a observar antes de reintentar.

ver en .md ¿Prefieres el recurso entero?

Qué es

Agent Desktop es una CLI y biblioteca nativa para interactuar con aplicaciones de escritorio. Obtiene controles del sistema de accesibilidad y devuelve referencias que un agente puede usar para actuar.

Para qué te sirve

  • Cuando necesitas leer los campos de una ventana sin interpretar sus píxeles.
  • Cuando una tarea exige alternar observación, clic y comprobación.
  • Cuando integras computer use en tu propio agente.

Cómo funciona

Una instantánea devuelve JSON con elementos y referencias. El agente elige una acción y vuelve a observar para confirmar el resultado. El bucle de decisión permanece en tu agente. El proyecto distribuye binarios para macOS, Windows y Linux, en x64 y ARM64.

Antes de empezar

Necesitas una sesión gráfica y los requisitos del sistema correspondiente. macOS requiere Accesibilidad; Linux tiene como destino principal Ubuntu 24.04+ con GNOME 46, glibc ≥2.35 y at-spi2-core. Windows puede operar sobre aplicaciones con el mismo nivel de integridad que la terminal.

Límites y alternativas

El contenido del portapapeles, las instantáneas y las capturas pueden contener datos privados. No todas las aplicaciones exponen buenos controles de accesibilidad. La alternativa con capturas requiere interpretar imágenes y tiene otros puntos de fallo.

Recursos