Qué es
Ghost OS conecta un cliente MCP con aplicaciones de macOS. El agente consulta el árbol de accesibilidad para reconocer elementos de interfaz y actuar sobre ellos con herramientas estructuradas.
Para qué te sirve
- Cuando una aplicación de escritorio carece de API y necesitas rellenar sus formularios.
- Cuando repites una secuencia de ventanas y quieres conservarla como receta inspeccionable.
- Cuando quieres mostrar manualmente una operación y que el agente proponga una versión parametrizada.
Cómo funciona
El servidor expone acciones de navegación, interacción y gestión de recetas. Las recetas se guardan en JSON. La grabación de aprendizaje observa eventos de teclado y ratón enriquecidos con información de accesibilidad; el agente convierte esa secuencia en pasos reutilizables.
La accesibilidad es la primera vía, pero no la única: el README documenta un modelo de visión local, ShowUI-2B, como respaldo cuando el árbol no contiene información suficiente. No conviene describirlo como un sistema que nunca usa imágenes.
Antes de empezar
Necesitas macOS 14 o posterior y los permisos que solicita el asistente de configuración. La observación de acciones requiere Input Monitoring. El modelo que razona sobre las herramientas pertenece a tu cliente; revisa qué información le envías.
Límites y alternativas
No es una solución para Linux ni Windows. Una aplicación puede exponer mal su accesibilidad y requerir respaldo visual. Las acciones llegan a aplicaciones reales: ensaya con datos de prueba y revisa las recetas antes de usarlas sobre correo o documentos.
Recursos
- Repositorio y README - 1681 estrellas; licencia detectada por GitHub: MIT.
- Licencia - Consulta sus condiciones antes de reutilizar el proyecto.