Diagnóstico por etapas de agentes GUI al analizar dashboards: el benchmark DashAct

11 noviembre 20263 vistas

Se presenta DashAct, un benchmark de 348 trayectorias verificadas por humanos que desglosa el trabajo de los agentes GUI con paneles interactivos en tres etapas y cuatro condiciones visuales. Los resultados revelan problemas persistentes para predecir acciones y vincularlas con objetivos visuales, así como la dependencia de las respuestas de los agentes del apoyo contextual y espacial.

Diagnóstico por etapas de agentes GUI al analizar dashboards: el benchmark DashAct

Qué evalúa DashAct

DashAct es un benchmark para evaluar agentes GUI durante el análisis interactivo de paneles de control. Evalúa las mismas interacciones anotadas con distintos niveles sistemáticos de apoyo contextual y espacial. La versión v2 está fechada el 19 de octubre de 2026; la primera versión, el 26 de septiembre de 2026.

Conclusión: DashAct compara agentes GUI en las mismas interacciones anotadas. Criterio práctico: elegir un benchmark para diagnosticar fallos, no solo para obtener una métrica final.

Tres etapas de diagnóstico

El benchmark divide el diagnóstico en tres etapas. Van desde la ejecución completa hasta las comprobaciones aisladas. Cuatro condiciones visuales modifican las condiciones de las mismas interacciones.

EtapaQué evalúaFunción en el diagnóstico
end-to-end executionEjecución completa de la interacción con el panel de controlMuestra los fallos durante la ejecución en línea
verified-context action predictionPredicción de acciones con el contexto verificadoSepara los errores de predicción de acciones
target-conditioned groundingFundamentación visual del objetivo según la condiciónComprueba la precisión de la localización del objetivo

Las anotaciones coherentes de acciones y ubicación espacial vinculan los resultados de las etapas. Ayudan a interpretar los fallos durante la ejecución en línea.

Conclusión: las etapas no se duplican entre sí. Criterio práctico: empezar por end-to-end execution para investigar un fallo general y, después, pasar a la predicción de acciones y al grounding para encontrar el origen del error.

Cómo se organizan las trayectorias y las anotaciones

El conjunto contiene 348 trayectorias de interacción verificadas por personas. Las trayectorias incluyen dependencias entre etapas (milestone dependencies). Las anotaciones jerárquicas de objetivos (hierarchical target annotations) definen la estructura de las tareas. Las anotaciones coherentes de acciones y ubicación espacial están vinculadas a las mismas interacciones.

Este etiquetado permite comparar los resultados de las etapas. Si un agente falla en end-to-end execution, las anotaciones muestran en qué paso y respecto a qué objetivo se produjo el fallo. Esto hace que el diagnóstico sea reproducible.

Conclusión: el valor de DashAct reside en la coherencia de sus anotaciones. Criterio práctico: comprobar si coinciden las anotaciones de acciones y de ubicación espacial antes de concluir que el agente ha cometido un error.

Condiciones visuales y respuesta de los modelos

DashAct evalúa las mismas interacciones en cuatro condiciones visuales. La respuesta al apoyo contextual y espacial depende del modelo. Un mismo agente puede rendir de manera distinta cuando cambia el nivel de apoyo. Comparar solo una condición no permite evaluar la robustez.

Conclusión: para el diagnóstico hay que examinar las cuatro condiciones visuales. Criterio práctico: registrar cómo cambia el resultado con el apoyo contextual y espacial, en lugar de fijarse únicamente en la precisión final.

Qué mostraron los experimentos y la adaptación de Qwen

Los experimentos revelaron dificultades persistentes en la predicción de acciones y en la fundamentación visual precisa de los objetivos. El estudio de adaptación basada en Qwen mejoró además la localización de objetivos y online Milestone Coverage. La mejora afectó a la localización de objetivos y a online Milestone Coverage. Estos resultados corresponden a distintas etapas del diagnóstico.

Conclusión: la adaptación basada en Qwen es útil para la localización de objetivos y online Milestone Coverage. Criterio práctico: evaluar online Milestone Coverage por separado de la localización de objetivos para observar el efecto de la adaptación.

Cómo integrar DashAct en un diagnóstico por etapas

El diagnóstico por etapas comienza con end-to-end execution. Después viene verified-context action prediction. La última etapa es target-conditioned grounding. Las cuatro condiciones visuales repiten las mismas interacciones en diferentes condiciones.

El orden importa: cada etapa sucesiva acota el origen del error. Las anotaciones vinculan los resultados y evitan que se pierda el contexto. Si el fallo se repite en distintas etapas, es más probable que la causa esté en el agente y no en una condición aislada.

Conclusión: DashAct ofrece una estructura para analizar los fallos. Criterio práctico: usar las tres etapas y las cuatro condiciones visuales. Evaluar el resultado de la adaptación de Qwen según la localización de objetivos y online Milestone Coverage.

Preguntas frecuentes

Material similar

Todos los materiales
Toollery: selección de herramientas para agentes LLM entre decenas de miles de opciones sin necesidad de ajuste fino
Noticias

Toollery: selección de herramientas para agentes LLM entre decenas de miles de opciones sin necesidad de ajuste fino

Toollery construye un índice de búsqueda a partir de las descripciones de habilidades y herramientas y, al recibir una consulta, solo envía al modelo un conjunto limitado de candidatos. En experimentos con bibliotecas de hasta decenas de miles de funciones, el enfoque permite mantener la calidad de selección con un top-K fijo, aunque el efecto final depende del perfil de carga y del almacenamiento en caché del proveedor.

11 noviembre 2026
WILSON: integración de aumentos y portaobjetos del paciente para el análisis anatomopatológico y la elaboración de informes
Noticias

WILSON: integración de aumentos y portaobjetos del paciente para el análisis anatomopatológico y la elaboración de informes

El preprint presenta WILSON, un modelo de visión y lenguaje que codifica imágenes de portaobjetos completos y series de muestras de un mismo paciente a distintos aumentos, en lugar de limitarse a un único portaobjetos «mejor». Sin necesidad de ajustarlo a la tarea, supera a modelos especializados y de mayor tamaño para portaobjetos en varias métricas, con una carga computacional considerablemente menor, y sus descripciones diagnósticas obtuvieron puntuaciones más altas de los patólogos.

11 noviembre 2026
Invariantes polinómicos canónicos en el diagnóstico de fallos de simuladores de RL: dónde son realmente útiles
Noticias

Invariantes polinómicos canónicos en el diagnóstico de fallos de simuladores de RL: dónde son realmente útiles

El estudio analiza si está justificado incorporar leyes físicas a modelos de dinámica entrenables: los invariantes extraídos de las trayectorias y llevados a una forma canónica mediante bases de Gröbner ofrecen una mejora modesta en las predicciones, pero destacan en el diagnóstico: permiten localizar la restricción incumplida e identificar el parámetro concreto que es erróneo.

10 noviembre 2026
Diagnóstico por etapas de agentes GUI al analizar dashboards: el benchmark DashAct