Diagnóstico passo a passo de agentes GUI na análise de dashboards: benchmark DashAct
Apresentamos o DashAct — um benchmark com 348 trajetórias verificadas por humanos, que divide o trabalho de agentes GUI com painéis interativos em três etapas e quatro condições visuais. Os resultados revelam problemas persistentes na previsão de ações e na associação a alvos visuais, bem como a dependência das respostas dos agentes do suporte contextual e espacial.

O que o DashAct avalia
DashAct é um benchmark para avaliar agentes GUI durante a análise interativa de dashboards. Avalia as mesmas interações anotadas com níveis de apoio contextual e espacial que variam sistematicamente. A versão v2 tem data de 19 de outubro de 2026; a primeira versão, de 26 de setembro de 2026.

Conclusão: o DashAct compara agentes GUI nas mesmas interações anotadas. Critério prático: escolher um benchmark para diagnosticar falhas, e não apenas para obter uma métrica final.
Três etapas de diagnóstico
O benchmark divide o diagnóstico em três etapas, que vão da execução completa a verificações isoladas. Quatro condições visuais alteram as condições para as mesmas interações.
| Etapa | O que avalia | Papel no diagnóstico |
|---|---|---|
| execução de ponta a ponta | Execução completa da interação com o dashboard | Mostra falhas durante a execução online |
| previsão de ações com contexto verificado | Previsão de ações com contexto verificado | Isola os erros de previsão de ações |
| fundamentação condicionada pelo alvo | Fundamentação visual do alvo com base na condição | Verifica a precisão da localização do alvo |
As anotações alinhadas de ações e localização espacial relacionam os resultados das etapas. Ajudam a interpretar as falhas durante a execução online.
Conclusão: as etapas não se sobrepõem. Critério prático: começar pela execução de ponta a ponta para identificar a falha geral e, em seguida, passar à previsão de ações e à fundamentação para encontrar a origem do erro.
Como são estruturadas as trajetórias e as anotações
O conjunto contém 348 trajetórias de interação verificadas por pessoas. As trajetórias incluem dependências entre etapas (milestone dependencies). As anotações hierárquicas de alvos (hierarchical target annotations) definem a estrutura das tarefas. As anotações alinhadas de ações e localização espacial estão associadas às mesmas interações.
Estas anotações permitem comparar os resultados das etapas. Se o agente falhar na execução de ponta a ponta, as anotações mostram em que passo e para qual alvo ocorreu a falha. Isso torna o diagnóstico reproduzível.
Conclusão: o valor do DashAct está na consistência das anotações. Critério prático: verificar se as anotações de ações e de localização espacial coincidem antes de tirar conclusões sobre um erro do agente.
Condições visuais e resposta dos modelos
O DashAct avalia as mesmas interações em quatro condições visuais. A resposta ao apoio contextual e espacial depende do modelo. O mesmo agente pode ter desempenhos diferentes quando o apoio muda. Uma comparação baseada numa única condição não revela a robustez.
Conclusão: para diagnosticar, é necessário analisar as quatro condições visuais. Critério prático: registar como o resultado muda com o apoio contextual e espacial, e não apenas a precisão final.
O que os experimentos e a adaptação do Qwen revelaram
Os experimentos revelaram dificuldades persistentes na previsão de ações e na fundamentação visual precisa dos alvos. O estudo de adaptação baseado no Qwen melhorou também a localização dos alvos e o online Milestone Coverage. A melhoria incidiu na localização dos alvos e no online Milestone Coverage. Estes resultados dizem respeito a diferentes etapas do diagnóstico.
Conclusão: a adaptação baseada no Qwen é útil para a localização dos alvos e o online Milestone Coverage. Critério prático: verificar o online Milestone Coverage separadamente da localização dos alvos para identificar o efeito da adaptação.
Como integrar o DashAct num diagnóstico faseado
O diagnóstico faseado começa pela execução de ponta a ponta. Depois, passa à previsão de ações com contexto verificado. Por fim, chega à fundamentação condicionada pelo alvo. As quatro condições visuais repetem as mesmas interações em condições diferentes.
A ordem é importante: cada etapa seguinte restringe a origem do erro. As anotações relacionam os resultados e evitam a perda de contexto. Se a falha se repetir em diferentes etapas, é mais provável que a causa esteja no agente, e não numa condição específica.
Conclusão: o DashAct oferece uma estrutura para analisar falhas. Critério prático: utilizar as três etapas e as quatro condições visuais. Avaliar o resultado da adaptação do Qwen pela localização dos alvos e pelo online Milestone Coverage.
Perguntas mais frequentes
Materiais semelhantes
Todos os materiais
WILSON: integração de ampliações e lâminas de pacientes para análise anatomopatológica e elaboração de laudos
O preprint apresenta o WILSON — um modelo de visão e linguagem que codifica imagens de lâminas inteiras e séries de preparações de um mesmo paciente em diferentes ampliações, em vez de apenas uma lâmina «melhor». Sem ajuste fino para a tarefa, supera modelos especializados e maiores para lâminas em várias métricas, com uma carga computacional substancialmente menor, e as suas descrições diagnósticas receberam avaliações mais elevadas dos patologistas.
11 novembro 2026
Invariantes polinomiais canónicos no diagnóstico de falhas em simuladores de RL: onde são realmente úteis
O estudo avalia se a incorporação de leis físicas em modelos de dinâmica treináveis se justifica: os invariantes extraídos das trajetórias e reduzidos à forma canónica por meio de bases de Gröbner proporcionam ganhos modestos nas previsões, mas são eficazes no diagnóstico — permitem localizar a restrição violada e identificar o parâmetro específico incorreto.
10 novembro 2026
AURA-Eval: como verificar se o agente de LLM reconheceu o risco e mudou o próximo passo
O framework avalia o comportamento de agentes LLM não pelo veredito final, mas pela reação ao risco em pontos-chave: as trajetórias de chamadas a ferramentas são interrompidas, após o que o modelo deve continuar o raciocínio e a ação, enquanto um painel de juízes LLM analisa a detecção de riscos, a natureza e a segurança da ação. Em 1.249 tarefas reunidas a partir de 157 trajetórias do R-Judge, as ações inseguras tornam-se mais frequentes entre 20 modelos quando não há um caminho seguro, e a remoção da supervisão antes da execução transforma 52,3% dos casos inicialmente seguros em casos inseguros.
10 novembro 2026