Da relevância à executabilidade: como selecionar ferramentas para agentes online

27 setembro 202617 visualizações

O método organiza as operações disponíveis para o agente tendo em conta as dependências entre entradas e saídas, para que as etapas preparatórias precedam a ação final. Nos testes do ToolBench, a taxa de sucesso de execução aumentou de 0,737 para 0,898, e foi possível abranger mais cadeias concluídas com um conjunto de 32 ferramentas em vez de 128.

Da relevância à executabilidade: como selecionar ferramentas para agentes online

O menu limita as ações disponíveis

O menu de ferramentas é um subconjunto curto e ordenado das ações disponíveis, que o agente recebe antes de executar a tarefa. O agente só pode chamar as ferramentas incluídas nesse menu.

Isto significa que a composição e a ordem do menu influenciam a capacidade do agente para executar a tarefa. Critério prático: verificar não só se a ação necessária está presente, mas também se as ferramentas que preparam os dados para essa ação estão disponíveis.

Porque é que a relevância não garante a execução

Uma tarefa com várias etapas requer uma ação final e ferramentas predecessoras. Estas têm de criar os dados de entrada necessários pela ordem adequada.

A classificação por relevância para o pedido pode encontrar a ação final, mas omitir ou deixar para mais tarde ferramentas produtoras menos óbvias. Critério de seleção: avaliar o menu pela completude da cadeia executável, e não apenas pela semelhança entre as ferramentas e o pedido.

AbordagemO que consideraRisco
Classificação por relevânciaRelação da ferramenta com o pedidoAs ferramentas que produzem os dados necessários podem estar ausentes ou surgir tarde
Seleção pelo caminho de estadoExequibilidade das transições e ordem das dependênciasO menu tem de considerar o estado e as relações entre entradas e saídas

Como é formado o menu pelo caminho de estado

O caminho de estado é um percurso desde o estado observável do pedido até ao resultado pretendido. O State-Path Tool Menu proposto pelos autores cria o menu considerando a exequibilidade desse percurso.

O mecanismo inclui várias etapas:

  1. O codificador considera as ferramentas disponíveis a partir do estado atual.
  2. Associa as saídas das ferramentas às entradas das ações seguintes.
  3. Considera as ordens de ações que se repetem nos percursos de treino.
  4. A pesquisa seleciona uma ferramenta inicial executável, as ferramentas que produzem os dados em falta e a ação final.
  5. A reordenação coloca as ferramentas produtoras antes das ferramentas consumidoras.

Critério prático: verificar se o menu selecionado inclui a ação inicial, as ferramentas produtoras necessárias e a ação final, por uma ordem executável.

O que mostram os resultados no ToolBench

Os autores relatam que, no ToolBench, o menu proposto aumentou a taxa de sucesso da execução online de 0.737 para 0.898. Também superou os métodos de pesquisa, reordenação, geração e encaminhamento de base, sem alterar o agente.

O menu State-Path abrangia mais cadeias completas com 32 ferramentas do que a lista oficial com 128 ferramentas. O aumento da taxa de sucesso manteve-se em famílias de executores com modelos de diferentes capacidades.

Estes resultados dizem respeito à avaliação dos autores no ToolBench. Critério de interpretação: comparar os métodos quanto à taxa de sucesso da execução online e à cobertura de cadeias completas, sem atribuir o resultado apenas à dimensão do menu.

Como escolher uma abordagem para formar o menu

Para tarefas com dependências entre ações, uma simples pesquisa de ferramentas relevantes não é suficiente. O menu tem de incluir as ferramentas que produzem os dados de entrada em falta e colocá-las antes das ações consumidoras.

Ao comparar abordagens, verifique três propriedades:

  • Exequibilidade: a ação inicial está disponível a partir do estado atual?
  • Completude: estão presentes as ferramentas produtoras e a ação final?
  • Ordem: as ferramentas produtoras surgem antes das consumidoras?

Para avaliar o resultado, use a taxa de sucesso da execução online e a cobertura de cadeias completas. Este critério reflete não só a adequação das ferramentas ao pedido, mas também a capacidade do agente para percorrer o caminho até ao resultado.

Fonte

Artigo «The Menu Is an Execution Prior: State-Path Tool Menus for Online Agents», arXiv:2609.09395. Os autores comunicaram que o artigo foi aceite na EMNLP 2026 Main; a data de submissão indicada é 8 de setembro de 2026.

Perguntas mais frequentes

Materiais semelhantes

Todos os materiais
Da relevância à executabilidade: como selecionar ferramentas para agentes online