仪表板分析中 GUI 智能体的分阶段诊断:DashAct 基准测试

11 十一月 20263 视图

介绍 DashAct:一个包含 348 条经人工验证轨迹的基准测试,将 GUI 代理与交互式面板的工作拆分为三个阶段和四种视觉条件。结果显示,代理在动作预测和视觉目标定位方面存在持续性问题,其响应也依赖于上下文和空间支持。

仪表板分析中 GUI 智能体的分阶段诊断:DashAct 基准测试

DashAct 的评估内容

DashAct 是一项用于评估 GUI 智能体交互式分析仪表板能力的基准测试。它在系统性变化的上下文和空间辅助条件下,测试相同的标注交互。v2 版本日期为 2026 年 10 月 19 日;首个版本发布于 2026 年 9 月 26 日。

结论:DashAct 使用相同的标注交互对 GUI 智能体进行比较。实用标准:选择能够诊断故障的基准测试,而不只是关注最终指标。

三个诊断阶段

该基准测试将诊断分为三个阶段,流程从完整执行逐步过渡到隔离检查。四种视觉条件会改变相同交互所处的条件。

阶段评估内容在诊断中的作用
端到端执行完整执行与仪表板的交互显示在线执行期间的故障
经验证上下文的动作预测在上下文已验证的情况下预测动作分离动作预测错误
目标条件定位根据条件进行目标视觉定位检查目标定位的准确性

一致的动作和空间位置标注将各阶段的结果关联起来,帮助解读在线执行期间的故障。

结论:各阶段并不重复。实用标准:遇到整体故障时,先从端到端执行开始,再检查动作预测和定位,以查明错误来源。

轨迹和标注的组织方式

该数据集包含 348 条经人工验证的交互轨迹。轨迹中包含阶段间依赖关系(milestone dependencies)。分层目标标注(hierarchical target annotations)定义了任务结构。一致的动作和空间位置标注对应相同的交互。

这些标注便于对照各阶段的结果。如果智能体在端到端执行中出错,标注会显示故障发生在哪一步、涉及哪个目标。这使诊断过程具有可复现性。

结论:DashAct 的价值在于标注之间的关联性。实用标准:在判断智能体出错之前,先检查动作标注和空间位置标注是否一致。

视觉条件与模型响应

DashAct 在四种视觉条件下评估相同的交互。模型对上下文和空间辅助的响应各不相同。同一智能体在辅助条件变化时,表现也可能不同。仅在一种条件下进行比较,无法体现稳健性。

结论:诊断时需要查看全部四种视觉条件。实用标准:记录结果如何随上下文和空间辅助变化,而不只是关注最终准确率。

实验结果与 Qwen 适配

实验发现,动作预测和目标精确视觉定位方面仍存在困难。基于 Qwen 的适配研究进一步提升了目标定位和 online Milestone Coverage。改进涉及目标定位和 online Milestone Coverage。这些结果对应不同的诊断阶段。

结论:基于 Qwen 的适配有助于目标定位和 online Milestone Coverage。实用标准:将 online Milestone Coverage 与目标定位分开评估,以便观察适配效果。

如何将 DashAct 纳入分阶段诊断

分阶段诊断从端到端执行开始,接着进行经验证上下文的动作预测,最后进行目标条件定位。四种视觉条件会在不同条件下重复测试相同的交互。

顺序很重要:每个后续阶段都会缩小错误来源的范围。标注将结果关联起来,避免丢失上下文。如果故障在不同阶段反复出现,原因更可能在于智能体,而不是某个单独条件。

结论:DashAct 为故障分析提供了框架。实用标准:使用三个阶段和四种视觉条件。根据目标定位和 online Milestone Coverage 检查 Qwen 的适配效果。

常问问题

相关材料

所有材料
仪表板分析中 GUI 智能体的分阶段诊断:DashAct 基准测试