Меню ограничивает доступные действия
Меню инструментов — короткий упорядоченный поднабор доступных действий, который агент получает до выполнения задачи. Агент может вызывать только инструменты из этого меню.
Значит, состав и порядок меню влияют на то, сможет ли агент выполнить задачу. Практический критерий: проверять не только наличие нужного действия, но и доступность инструментов, которые подготавливают для него данные.
Почему релевантность не гарантирует выполнение
Многошаговая задача требует конечного действия и инструментов-предшественников. Они должны создать необходимые входные данные в подходящем порядке.
Ранжирование по релевантности запросу может найти конечное действие, но пропустить или отложить менее очевидные инструменты-производители. Критерий выбора: оценивать меню по полноте исполнимой цепочки, а не только по сходству инструментов с запросом.
| Подход | Что учитывает | Риск |
|---|---|---|
| Ранжирование по релевантности | Связь инструмента с запросом | Производители нужных данных могут отсутствовать или стоять поздно |
| Подбор по пути состояния | Исполнимость переходов и порядок зависимостей | Меню должно учитывать состояние и связи между входами и выходами |
Как формируется меню по пути состояния
Путь состояния — маршрут от наблюдаемого состояния запроса к желаемому результату. Предложенный авторами State-Path Tool Menu собирает меню с учётом исполнимости этого маршрута.
Механизм включает несколько шагов:
- Кодировщик учитывает инструменты, доступные из текущего состояния.
- Он связывает выходы инструментов с входами последующих действий.
- Он учитывает порядки действий, повторяющиеся в обучающих путях.
- Поиск подбирает начальный исполнимый инструмент, производителей недостающих данных и конечное действие.
- Переранжирование ставит производителей перед потребителями.
Практический критерий: проверять, что выбранное меню включает начальное действие, необходимые инструменты-производители и конечное действие в исполнимом порядке.
Что показывают результаты на ToolBench
Авторы сообщают, что на ToolBench предложенное меню повысило успех онлайн-выполнения с 0.737 до 0.898. Оно также превзошло базовые методы поиска, переранжирования, генерации и маршрутизации без изменения агента.
Меню State-Path охватывало больше полных цепочек при 32 инструментах, чем официальный список при 128 инструментах. Прирост успешности сохранялся для семейств исполнителей с моделями разной мощности.
Эти результаты относятся к оценке авторов на ToolBench. Критерий интерпретации: сопоставлять методы по успеху онлайн-выполнения и покрытию полных цепочек, не приписывая результат только размеру меню.
Как выбрать подход к формированию меню
Для задач с зависимостями между действиями одного поиска релевантных инструментов недостаточно. Меню должно включать инструменты, которые производят недостающие входные данные, и располагать их до действий-потребителей.
При сравнении подходов проверяйте три свойства:
- Исполнимость: доступно ли начальное действие из текущего состояния.
- Полнота: присутствуют ли инструменты-производители и конечное действие.
- Порядок: следуют ли производители перед потребителями.
Для оценки результата используйте успех онлайн-выполнения и покрытие полных цепочек. Такой критерий отражает не только то, насколько инструменты подходят запросу, но и может ли агент пройти путь до результата.
Источник
Статья «The Menu Is an Execution Prior: State-Path Tool Menus for Online Agents», arXiv:2609.09395. Авторы сообщили о принятии статьи на EMNLP 2026 Main; заявленная дата подачи — 8 сентября 2026 года.
