lab
Esc

Prueba con

↑↓ para moverte · Enter para abrir · también en /buscar?q= para agentes

sistema avanzado computer-usedesktopvisionagentes

UI-TARS Desktop: controla interfaces con un agente visual

Prueba tareas de escritorio guiadas por un modelo visual y observa sus acciones sobre ventanas, ratón y teclado.

✓ verificado el 27 oct 2026

Instrucciones para tu agente

Esto es lo que se copia. Pégaselo a tu agente y te lo monta paso a paso.

O ábrelo directamente en ClaudeChatGPT

Pega este texto a tu agente (Claude Code, Codex, OpenCode, Hermes o el que uses) y dile «ayúdame a montarlo». Son los pasos para ponerlo en marcha; el porqué de cada pieza está en la guía completa.

Para el agente: cómo acompañar al usuario

  1. Pregunta primero para qué lo quiere. Si su objetivo no necesita algún paso, sáltalo.
  2. Antes de instalar, comprueba lo que ya tiene (versiones, claves, sistema operativo).
  3. Avanza un paso cada vez: explica en una frase qué vas a hacer y deja que el usuario lo ejecute o lo apruebe.
  4. Tras cada paso, comprueba que funcionó antes de seguir. Si falla, para y explica el error.
  5. No inventes comandos ni opciones: si la documentación del proyecto contradice estos pasos, manda la documentación.
  6. Al terminar, haz una prueba real con el objetivo del usuario y dile dónde profundizar.

Pasos de configuración

Preparación

Comprueba que usas una sola pantalla: la guía no admite configuraciones de varios monitores. Para Browser Operator instala Chrome, Edge o Firefox. Para la app empaquetada no necesitas preparar Node.js. En macOS, tras instalar habilita Accesibilidad y Grabación de pantalla para UI TARS en Privacidad y seguridad.

Paso 1: sigue la guía de Desktop

Abre docs/quick-start.md del repositorio y descarga UI-TARS Desktop desde sus publicaciones oficiales. Elige el operador local y configura el proveedor, la URL base, la clave y el nombre del modelo conforme a esa guía. Para concretar Hugging Face, abre Inference Endpoints, importa UI-TARS-1.5-7B y sigue la receta de despliegue: GPU compatible, límites de tokens y variables CUDA_GRAPHS=0, PAYLOAD_LIMIT=8000000. Espera a que el endpoint esté operativo. En Settings elige Hugging Face for UI-TARS-1.5, copia la URL de ese endpoint terminada en /v1/, su clave y el nombre exacto de modelo mostrado por el servicio. Es inferencia alojada con coste propio aunque uses el operador local. El servicio remoto gratuito documentado se retiró el 20 de agosto de 2025; la alternativa remota exige un despliegue propio según los enlaces de la guía.

Paso 2: prepara una tarea reversible

Concede los permisos que requiera tu sistema. Selecciona Browser Operator, abre una conversación nueva y pide «Abre https://example.com y dime el encabezado principal sin seguir enlaces». La pantalla y la respuesta deben mostrar Example Domain. Así compruebas captura y navegación sin depender de una cuenta del navegador.

Comprobación

Confirma que la captura corresponde al entorno esperado y que las acciones observadas coinciden con la instrucción. Verifica a qué endpoint se envía la información visual.

Si algo falla

Distingue un error de permisos de pantalla de un error de autenticación del modelo. Revisa la guía de Desktop, evitando instrucciones de la CLI Agent TARS.

ver en .md ¿Prefieres el recurso entero?

Qué es

UI-TARS Desktop es la aplicación de escritorio del conjunto TARS de ByteDance. Usa modelos de visión y lenguaje para interpretar la pantalla y ejecutar acciones de interfaz.

Para qué te sirve

  • Cuando necesitas experimentar con una aplicación que no tiene API.
  • Cuando quieres observar cómo un modelo interpreta una interfaz y decide el siguiente clic.
  • Cuando comparas operación local y remota en una tarea de computer use.

Cómo funciona

La aplicación recibe una instrucción, captura el estado visual y utiliza el modelo configurado para producir acciones. La documentación distingue operadores locales y remotos. Comparte repositorio con Agent TARS, pero son proyectos diferentes: esta ficha apunta a apps/ui-tars.

No uses los comandos de la CLI Agent TARS como si instalaran esta aplicación. La ruta de inicio de Desktop se documenta en docs/quick-start.md y depende de la aplicación y del endpoint de modelo elegido.

Antes de empezar

Usa una sola pantalla. Para Browser Operator necesitas Chrome, Edge o Firefox; macOS requiere Accesibilidad y Grabación de pantalla. Descarga la aplicación adecuada y configura modelo y permisos. El servicio remoto gratuito de la guía se retiró el 20 de agosto de 2025; la operación remota exige otra infraestructura. Los modelos UI-TARS y Seed citados por el proyecto tienen requisitos propios. La privacidad depende de dónde se ejecute la inferencia; una aplicación local puede enviar capturas a un endpoint externo.

Límites y alternativas

Un modelo visual puede pulsar el elemento incorrecto o interpretar mal un cambio de pantalla. Usa un entorno de prueba sin cuentas críticas y observa cada acción inicial. Para tareas con una API fiable, una integración directa resulta más fácil de validar.

Recursos