Por que a tela engana
Imagine que um agente trabalha com um aplicativo de desktop. Ele vê uma janela com vários campos e um botão "Salvar". Do ponto de vista de uma captura de tela, é a mesma tela, mas na realidade o formulário pode estar vazio, parcialmente preenchido ou já enviado — e somente a lógica oculta do sistema operacional sabe qual cenário está sendo executado no momento. Essa situação é chamada de observabilidade parcial: o agente tem acesso apenas às manifestações externas, não ao estado real do sistema.
O perigo é que uma ação localmente plausível — por exemplo, um clique no botão — em um caso concluirá o cenário, em outro causará um erro de validação e, em um terceiro, simplesmente será ignorada. Telas visualmente semelhantes podem pertencer a diferentes ramificações do fluxo de trabalho, e isso leva a resultados significativamente diferentes. Portanto, um comportamento eficaz exige não apenas o reconhecimento de objetos da interface, mas também uma exploração ativa: é preciso determinar quais estados são alcançáveis e eliminar a ambiguidade antes de tomar uma decisão.
É exatamente a essa tarefa que se dedica o trabalho "ScreenSearch: Uncertainty-Aware OS Exploration" (arXiv:2605.16024), cujos autores são Michael Solodko e Justin Weigle. Eles formulam o problema como uma exploração dos estados do computador: o agente deve equilibrar entre expandir a fronteira alcançável e reduzir a incerteza.
Abordagem: grafo de estados e bandido
Em vez de depender de capturas de tela individuais, o sistema proposto, ScreenSearch, constrói um grafo geral de estados desduplicados. Para isso, ele usa busca estrutural: árvores UIA são transformadas em características considerando a disposição dos elementos, e telas relacionadas são indexadas por meio de busca esparsa por tokens e filtros de metadados. O grafo de estados é mantido entre várias máquinas virtuais, o que permite escalar a exploração.
A estratégia para escolher a próxima ação é definida por um bandido de grafo PUCT, que leva em conta a ambiguidade dos estados. Isso significa que o agente dá preferência não apenas a transições promissoras em termos de novidade, mas também àquelas que reduzem a incerteza. Em essência, o sistema simultaneamente explora o espaço de estados e refina seu conhecimento sobre ele.
Como medir a ambiguidade
A contribuição-chave do trabalho é um sinal escalável de ambiguidade. Ele se baseia em uma observação simples: se telas visualmente semelhantes, com a mesma assinatura de ação, levam a estados seguintes diferentes, então o estado atual não foi suficientemente estudado. A variância dos resultados torna-se um indicador de que o agente ainda não entendeu como funciona essa parte do fluxo de trabalho.
Esse sinal é combinado com recompensas pela expansão da fronteira de exploração. Como resultado, torna-se possível avaliar políticas no grafo geral por meio de replay-start: a política é executada a partir de um conjunto fixo de estados iniciais e observa-se como ela lida com as tarefas. É importante que algumas políticas possam reduzir rapidamente a ambiguidade, mas quase não descobrir novos estados, enquanto outras explorem ativamente, mas não consigam "finalizar" situações pouco claras. Portanto, os autores enfatizam: a simples redução da ambiguidade não é um objetivo suficiente.
Experimentos: diversidade e compromissos
Para testar a abordagem, foram utilizados 11 aplicativos de desktop. Durante os experimentos, foram coletadas mais de um milhão de capturas de tela e mais de 30 mil estados únicos. Os corpora obtidos apresentam diversidade significativa tanto entre aplicativos quanto dentro de cada um deles — isso permite testar agentes em condições realistas.
No corte fixo de replay-start, o compromisso entre novidade e ambiguidade é claramente visível. Algumas estratégias reduzem quase imediatamente o nível de incerteza, mas raramente encontram novos estados. Outras, ao contrário, expandem rapidamente as fronteiras do conhecido, mas deixam muitas "zonas cinzentas". Os autores concluem que o objetivo da exploração deve ser abrangente.
Ablações adicionais mostraram um efeito interessante: o fortalecimento das propostas (proposal priors) melhora notavelmente a descoberta de estados únicos na construção do corpus. Em outras palavras, a completude do grafo de estados coletado depende diretamente da qualidade das opções de ação propostas ao agente.
Conclusões
O estudo ScreenSearch confirma que, para um trabalho confiável do agente em um sistema operacional, não basta reconhecer bem os elementos da interface. Mais importante é entender a identidade do estado, gerar propostas de ação de qualidade e saber buscar considerando a ambiguidade. São exatamente esses três fatores que determinam quando continuar a exploração e quando fixar o resultado.
Os autores apresentaram um artigo de 22 páginas com 8 figuras e 21 tabelas, onde tanto o método quanto os experimentos são descritos em detalhes. É uma boa base para trabalhos futuros na área de agentes GUI confiáveis.
