为什么屏幕会误导你
设想一个代理正在使用桌面应用程序。它看到一个包含多个字段和一个“保存”按钮的窗口。从截图的角度看，这是同一个屏幕，但实际上表单可能是空的、部分填写的或已经提交的——只有操作系统隐藏的逻辑才知道当前正在执行哪个场景。这种情况被称为部分可观测性：代理只能看到外部表现，而无法看到系统的真实状态。
危险在于，一个局部看似合理的动作——例如点击按钮——在一种情况下会完成场景，在另一种情况下会触发验证错误，而在第三种情况下则会被直接忽略。视觉上相似的屏幕可能属于工作流的不同分支，这会导致截然不同的结果。因此，有效的行为不仅需要识别界面对象，还需要主动探索：必须确定哪些状态是可达的，并在做出决策之前消除歧义。
正是这一任务构成了论文「ScreenSearch: Uncertainty-Aware OS Exploration」（arXiv:2605.16024）的核心，其作者是迈克尔·索洛德科和贾斯汀·维格尔。他们将问题表述为对计算机状态的探索：代理必须在扩展可达前沿与减少不确定性之间取得平衡。
方法：状态图与赌博机
ScreenSearch 系统并不依赖单张截图，而是构建一个去重状态的全局图。为此，它使用结构化搜索：UIA 树被转换为考虑元素位置的特征，相关屏幕通过稀疏令牌搜索和元数据过滤器进行索引。状态图在多个虚拟机之间维护，从而可以扩展探索范围。
选择下一步动作的策略由 PUCT 图赌博机决定，该赌博机考虑状态的不确定性。这意味着代理不仅优先选择在新颖性上有前景的转移，也优先选择那些能减少不确定性的转移。本质上，系统同时探索状态空间并完善自身对它的认知。
如何衡量不确定性
该工作的关键贡献是一个可扩展的不确定性信号。它基于一个简单的观察：如果视觉上相似的屏幕在相同动作签名下导致不同的后续状态，那么当前状态尚未被充分理解。结果的方差成为代理尚未理解该工作流区域的指标。
这个信号与扩展探索前沿的奖励相结合。由此，可以通过 replay-start 在全局图上评估策略：从一组固定的起始状态运行策略，观察它在任务中的表现。重要的是，某些策略能快速降低不确定性，但几乎不发现新状态；另一些则积极探索，却来不及“收尾”模糊场景。因此，作者强调：单纯减少不确定性并不是一个充分的目标。
实验：多样性与权衡
为验证该方法，使用了 11 个桌面应用程序。实验过程中收集了超过一百万张截图和超过三万个唯一状态。所得到的语料库在应用之间和应用内部都表现出显著的多样性——这使得代理能在现实条件下接受测试。
在固定的 replay-start 切片上，新颖性与不确定性之间的权衡清晰可见。某些策略几乎立即降低不确定性水平，但很少发现新状态。另一些则迅速扩展已知边界，却留下大量“灰色地带”。作者得出结论：探索目标必须是综合性的。
额外的消融实验揭示了一个有趣的效应：增强提议先验（proposal priors）能显著改善构建语料库时对唯一状态的发现。换言之，代理获得的动作提议质量直接决定了所收集状态图的完整性。
结论
ScreenSearch 研究证实，要让代理在操作系统中可靠工作，仅靠良好的界面元素识别是不够的。更重要的是理解状态的身份、生成高质量的动作提议，并具备考虑不确定性的搜索能力。正是这三个因素决定了何时应继续探索，何时可以确定结果。
作者提交了一篇 22 页的论文，包含 8 张图和 21 张表，详细描述了方法本身和实验过程。这是可靠 GUI 代理领域后续研究的良好基础。
