仪表板分析中 GUI 智能体的分阶段诊断:DashAct 基准测试
介绍 DashAct:一个包含 348 条经人工验证轨迹的基准测试,将 GUI 代理与交互式面板的工作拆分为三个阶段和四种视觉条件。结果显示,代理在动作预测和视觉目标定位方面存在持续性问题,其响应也依赖于上下文和空间支持。

DashAct 的评估内容
DashAct 是一项用于评估 GUI 智能体交互式分析仪表板能力的基准测试。它在系统性变化的上下文和空间辅助条件下,测试相同的标注交互。v2 版本日期为 2026 年 10 月 19 日;首个版本发布于 2026 年 9 月 26 日。

结论:DashAct 使用相同的标注交互对 GUI 智能体进行比较。实用标准:选择能够诊断故障的基准测试,而不只是关注最终指标。
三个诊断阶段
该基准测试将诊断分为三个阶段,流程从完整执行逐步过渡到隔离检查。四种视觉条件会改变相同交互所处的条件。
| 阶段 | 评估内容 | 在诊断中的作用 |
|---|---|---|
| 端到端执行 | 完整执行与仪表板的交互 | 显示在线执行期间的故障 |
| 经验证上下文的动作预测 | 在上下文已验证的情况下预测动作 | 分离动作预测错误 |
| 目标条件定位 | 根据条件进行目标视觉定位 | 检查目标定位的准确性 |
一致的动作和空间位置标注将各阶段的结果关联起来,帮助解读在线执行期间的故障。
结论:各阶段并不重复。实用标准:遇到整体故障时,先从端到端执行开始,再检查动作预测和定位,以查明错误来源。
轨迹和标注的组织方式
该数据集包含 348 条经人工验证的交互轨迹。轨迹中包含阶段间依赖关系(milestone dependencies)。分层目标标注(hierarchical target annotations)定义了任务结构。一致的动作和空间位置标注对应相同的交互。
这些标注便于对照各阶段的结果。如果智能体在端到端执行中出错,标注会显示故障发生在哪一步、涉及哪个目标。这使诊断过程具有可复现性。
结论:DashAct 的价值在于标注之间的关联性。实用标准:在判断智能体出错之前,先检查动作标注和空间位置标注是否一致。
视觉条件与模型响应
DashAct 在四种视觉条件下评估相同的交互。模型对上下文和空间辅助的响应各不相同。同一智能体在辅助条件变化时,表现也可能不同。仅在一种条件下进行比较,无法体现稳健性。
结论:诊断时需要查看全部四种视觉条件。实用标准:记录结果如何随上下文和空间辅助变化,而不只是关注最终准确率。
实验结果与 Qwen 适配
实验发现,动作预测和目标精确视觉定位方面仍存在困难。基于 Qwen 的适配研究进一步提升了目标定位和 online Milestone Coverage。改进涉及目标定位和 online Milestone Coverage。这些结果对应不同的诊断阶段。
结论:基于 Qwen 的适配有助于目标定位和 online Milestone Coverage。实用标准:将 online Milestone Coverage 与目标定位分开评估,以便观察适配效果。
如何将 DashAct 纳入分阶段诊断
分阶段诊断从端到端执行开始,接着进行经验证上下文的动作预测,最后进行目标条件定位。四种视觉条件会在不同条件下重复测试相同的交互。
顺序很重要:每个后续阶段都会缩小错误来源的范围。标注将结果关联起来,避免丢失上下文。如果故障在不同阶段反复出现,原因更可能在于智能体,而不是某个单独条件。
结论:DashAct 为故障分析提供了框架。实用标准:使用三个阶段和四种视觉条件。根据目标定位和 online Milestone Coverage 检查 Qwen 的适配效果。
常问问题
相关材料
所有材料
WILSON:整合患者的放大图像和切片,用于病理形态学分析和报告生成
这篇预印本介绍了 WILSON——一种视觉语言模型,可对整张玻片图像以及同一患者在不同放大倍率下的一系列切片进行编码,而不只是单张“最佳”切片。无需针对特定任务进行微调,它在多项指标上超越了专用且规模更大的切片模型,同时计算负载显著更低;其诊断描述也获得了病理学家更高的评价。
11 十一月 2026
RL 模拟器故障诊断中的规范多项式不变量:它们究竟在何处发挥作用
这项研究检验了将物理定律纳入可训练动力学模型是否合理:从轨迹中提取并通过 Gröbner 基化为规范形式的不变量,虽能小幅提升预测效果,却在诊断方面表现出色——它们能够定位被违反的约束,并找出具体的错误参数。
10 十一月 2026
AURA-Eval:如何验证 LLM 智能体识别了风险并调整了下一步行动
该框架评估 LLM 智能体在关键节点面对风险时的反应,而非最终判断:工具调用轨迹会被中断,随后模型必须继续推理并采取行动,LLM 评审团则分析其风险识别、行动性质与安全性。在从 157 条 R-Judge 轨迹中整理出的 1249 项任务上,对 20 个模型的评估显示,缺少安全路径时,不安全行为会增多;在执行前撤除监督,会使 52.3% 原本安全的案例转为不安全。
10 十一月 2026