Поэтапная диагностика GUI-агентов при анализе дашбордов: бенчмарк DashAct

11 ноября 20263 просмотров

Представлен DashAct — бенчмарк из 348 проверенных человеком траекторий, который разбирает работу GUI-агентов с интерактивными панелями на три этапа и четыре визуальных условия. Результаты показывают устойчивые проблемы с предсказанием действий и привязкой к визуальным целям, а также зависимость реакции агентов от контекстной и пространственной поддержки.

Поэтапная диагностика GUI-агентов при анализе дашбордов: бенчмарк DashAct

Что проверяет DashAct

DashAct — бенчмарк для оценки GUI-агентов при интерактивном анализе дашбордов. Он проверяет одни и те же размеченные взаимодействия при систематически меняющейся контекстной и пространственной поддержке. Версия v2 датирована 19 октября 2026; первая версия — 26 сентября 2026.

Вывод: DashAct сравнивает GUI-агентов на одних и тех же размеченных взаимодействиях. Практический критерий: выбирать бенчмарк для диагностики сбоев, а не только для итоговой метрики.

Три этапа диагностики

Бенчмарк разделяет диагностику на три этапа. Они идут от полного выполнения к изолированным проверкам. Четыре визуальных условия меняют условия для одних и тех же взаимодействий.

ЭтапЧто оцениваетРоль в диагностике
end-to-end executionПолное выполнение взаимодействия с дашбордомПоказывает сбои при онлайн-выполнении
verified-context action predictionПредсказание действия при проверенном контекстеОтделяет ошибки предсказания действия
target-conditioned groundingВизуальное обоснование цели по условиюПроверяет точность локализации цели

Согласованные аннотации действий и пространственного расположения связывают результаты этапов. Они помогают интерпретировать сбои при онлайн-выполнении.

Вывод: этапы не дублируют друг друга. Практический критерий: начинать с end-to-end execution для общего сбоя, затем переходить к предсказанию действия и grounding, чтобы найти источник ошибки.

Как устроены траектории и аннотации

Набор содержит 348 проверенных людьми траекторий взаимодействия. В траекториях есть зависимости между этапами (milestone dependencies). Иерархические аннотации целей (hierarchical target annotations) задают структуру задач. Согласованные аннотации действий и пространственного расположения привязаны к одним и тем же взаимодействиям.

Такая разметка позволяет сопоставлять результаты этапов. Если агент ошибается на end-to-end execution, аннотации показывают, на каком шаге и по какой цели произошел сбой. Это делает диагностику воспроизводимой.

Вывод: ценность DashAct — в связности разметки. Практический критерий: проверять, совпадают ли аннотации действия и пространственного расположения, перед выводами об ошибке агента.

Визуальные условия и реакция моделей

DashAct оценивает одни и те же взаимодействия при четырех визуальных условиях. Реакция на контекстную и пространственную поддержку зависит от модели. Один и тот же агент может по-разному работать при изменении поддержки. Сравнение только по одному условию не показывает устойчивость.

Вывод: для диагностики нужно смотреть на все четыре визуальных условия. Практический критерий: фиксировать, как меняется результат при контекстной и пространственной поддержке, а не только итоговую точность.

Что показали эксперименты и адаптация Qwen

Эксперименты выявили сохраняющиеся трудности в предсказании действий и точном визуальном обосновании целей. Исследование адаптации на основе Qwen дополнительно улучшило локализацию целей и online Milestone Coverage. Улучшение затронуло локализацию целей и online Milestone Coverage. Эти результаты относятся к разным этапам диагностики.

Вывод: адаптация на основе Qwen полезна для локализации целей и online Milestone Coverage. Практический критерий: проверять online Milestone Coverage отдельно от локализации целей, чтобы видеть эффект адаптации.

Как встроить DashAct в поэтапную диагностику

Поэтапная диагностика начинается с end-to-end execution. Затем идет verified-context action prediction. Завершает target-conditioned grounding. Четыре визуальных условия повторяют одни и те же взаимодействия в разных условиях.

Порядок важен: каждый следующий этап сужает источник ошибки. Аннотации связывают результаты и не дают потерять контекст. Если сбой повторяется на разных этапах, причина вероятнее в агенте, а не в отдельном условии.

Вывод: DashAct дает структуру для разбора сбоев. Практический критерий: использовать три этапа и четыре визуальных условия. Результат адаптации Qwen проверять по локализации целей и online Milestone Coverage.

Часто задаваемые вопросы

Похожие материалы

Все материалы
WILSON: объединение увеличений и стёкол пациента для патоморфологического анализа и формирования заключений
Новости

WILSON: объединение увеличений и стёкол пациента для патоморфологического анализа и формирования заключений

Препринт представляет WILSON — vision-language модель, которая кодирует изображения целых стёкол и серии препаратов одного пациента при разных увеличениях, а не только отдельный «лучший» слайд. Без дообучения под задачу она обходит специализированные и более крупные слайды-модели по ряду метрик при существенно меньшей вычислительной нагрузке, а её диагностические описания получили более высокие оценки патологов.

11 ноября 2026
Канонические полиномиальные инварианты в диагностике сбоев RL-симуляторов: где они действительно полезны
Новости

Канонические полиномиальные инварианты в диагностике сбоев RL-симуляторов: где они действительно полезны

Работа проверяет, оправдано ли включение физических законов в обучаемые модели динамики: инварианты, извлечённые из траекторий и приведённые к каноническому виду через базисы Грёбнера, дают скромный выигрыш в прогнозах, но оказываются сильны в диагностике — они позволяют локализовать нарушенное ограничение и выявить конкретный ошибочный параметр.

10 ноября 2026
AURA-Eval: как проверить, что LLM-агент распознал риск и изменил следующий шаг
Новости

AURA-Eval: как проверить, что LLM-агент распознал риск и изменил следующий шаг

Фреймворк оценивает поведение LLM-агентов не по финальному вердикту, а по реакции на риск в ключевых точках: траектории вызовов инструментов прерываются, после чего модель должна продолжить рассуждение и действие, а панель LLM-судей разбирает обнаружение риска, характер и безопасность шага. На 1249 заданиях, собранных из 157 траекторий R-Judge, у 20 моделей небезопасные действия учащаются при отсутствии безопасного пути, а снятие надзора до выполнения переводит 52,3% изначально безопасных случаев в небезопасные.

10 ноября 2026
DashAct: бенчмарк для поэтапной диагностики GUI-агентов