Поэтапная диагностика GUI-агентов при анализе дашбордов: бенчмарк DashAct
Представлен DashAct — бенчмарк из 348 проверенных человеком траекторий, который разбирает работу GUI-агентов с интерактивными панелями на три этапа и четыре визуальных условия. Результаты показывают устойчивые проблемы с предсказанием действий и привязкой к визуальным целям, а также зависимость реакции агентов от контекстной и пространственной поддержки.

Что проверяет DashAct
DashAct — бенчмарк для оценки GUI-агентов при интерактивном анализе дашбордов. Он проверяет одни и те же размеченные взаимодействия при систематически меняющейся контекстной и пространственной поддержке. Версия v2 датирована 19 октября 2026; первая версия — 26 сентября 2026.

Вывод: DashAct сравнивает GUI-агентов на одних и тех же размеченных взаимодействиях. Практический критерий: выбирать бенчмарк для диагностики сбоев, а не только для итоговой метрики.
Три этапа диагностики
Бенчмарк разделяет диагностику на три этапа. Они идут от полного выполнения к изолированным проверкам. Четыре визуальных условия меняют условия для одних и тех же взаимодействий.
| Этап | Что оценивает | Роль в диагностике |
|---|---|---|
| end-to-end execution | Полное выполнение взаимодействия с дашбордом | Показывает сбои при онлайн-выполнении |
| verified-context action prediction | Предсказание действия при проверенном контексте | Отделяет ошибки предсказания действия |
| target-conditioned grounding | Визуальное обоснование цели по условию | Проверяет точность локализации цели |
Согласованные аннотации действий и пространственного расположения связывают результаты этапов. Они помогают интерпретировать сбои при онлайн-выполнении.
Вывод: этапы не дублируют друг друга. Практический критерий: начинать с end-to-end execution для общего сбоя, затем переходить к предсказанию действия и grounding, чтобы найти источник ошибки.
Как устроены траектории и аннотации
Набор содержит 348 проверенных людьми траекторий взаимодействия. В траекториях есть зависимости между этапами (milestone dependencies). Иерархические аннотации целей (hierarchical target annotations) задают структуру задач. Согласованные аннотации действий и пространственного расположения привязаны к одним и тем же взаимодействиям.
Такая разметка позволяет сопоставлять результаты этапов. Если агент ошибается на end-to-end execution, аннотации показывают, на каком шаге и по какой цели произошел сбой. Это делает диагностику воспроизводимой.
Вывод: ценность DashAct — в связности разметки. Практический критерий: проверять, совпадают ли аннотации действия и пространственного расположения, перед выводами об ошибке агента.
Визуальные условия и реакция моделей
DashAct оценивает одни и те же взаимодействия при четырех визуальных условиях. Реакция на контекстную и пространственную поддержку зависит от модели. Один и тот же агент может по-разному работать при изменении поддержки. Сравнение только по одному условию не показывает устойчивость.
Вывод: для диагностики нужно смотреть на все четыре визуальных условия. Практический критерий: фиксировать, как меняется результат при контекстной и пространственной поддержке, а не только итоговую точность.
Что показали эксперименты и адаптация Qwen
Эксперименты выявили сохраняющиеся трудности в предсказании действий и точном визуальном обосновании целей. Исследование адаптации на основе Qwen дополнительно улучшило локализацию целей и online Milestone Coverage. Улучшение затронуло локализацию целей и online Milestone Coverage. Эти результаты относятся к разным этапам диагностики.
Вывод: адаптация на основе Qwen полезна для локализации целей и online Milestone Coverage. Практический критерий: проверять online Milestone Coverage отдельно от локализации целей, чтобы видеть эффект адаптации.
Как встроить DashAct в поэтапную диагностику
Поэтапная диагностика начинается с end-to-end execution. Затем идет verified-context action prediction. Завершает target-conditioned grounding. Четыре визуальных условия повторяют одни и те же взаимодействия в разных условиях.
Порядок важен: каждый следующий этап сужает источник ошибки. Аннотации связывают результаты и не дают потерять контекст. Если сбой повторяется на разных этапах, причина вероятнее в агенте, а не в отдельном условии.
Вывод: DashAct дает структуру для разбора сбоев. Практический критерий: использовать три этапа и четыре визуальных условия. Результат адаптации Qwen проверять по локализации целей и online Milestone Coverage.
Часто задаваемые вопросы
Похожие материалы
Все материалы
WILSON: объединение увеличений и стёкол пациента для патоморфологического анализа и формирования заключений
Препринт представляет WILSON — vision-language модель, которая кодирует изображения целых стёкол и серии препаратов одного пациента при разных увеличениях, а не только отдельный «лучший» слайд. Без дообучения под задачу она обходит специализированные и более крупные слайды-модели по ряду метрик при существенно меньшей вычислительной нагрузке, а её диагностические описания получили более высокие оценки патологов.
11 ноября 2026
Канонические полиномиальные инварианты в диагностике сбоев RL-симуляторов: где они действительно полезны
Работа проверяет, оправдано ли включение физических законов в обучаемые модели динамики: инварианты, извлечённые из траекторий и приведённые к каноническому виду через базисы Грёбнера, дают скромный выигрыш в прогнозах, но оказываются сильны в диагностике — они позволяют локализовать нарушенное ограничение и выявить конкретный ошибочный параметр.
10 ноября 2026
AURA-Eval: как проверить, что LLM-агент распознал риск и изменил следующий шаг
Фреймворк оценивает поведение LLM-агентов не по финальному вердикту, а по реакции на риск в ключевых точках: траектории вызовов инструментов прерываются, после чего модель должна продолжить рассуждение и действие, а панель LLM-судей разбирает обнаружение риска, характер и безопасность шага. На 1249 заданиях, собранных из 157 траекторий R-Judge, у 20 моделей небезопасные действия учащаются при отсутствии безопасного пути, а снятие надзора до выполнения переводит 52,3% изначально безопасных случаев в небезопасные.
10 ноября 2026