Toollery: seleção de ferramentas para agentes LLM entre dezenas de milhares de opções sem fine-tuning

11 novembro 20264 visualizações

A Toollery cria um índice de pesquisa com base nas descrições de competências e ferramentas e, a cada consulta, transmite ao modelo apenas um conjunto limitado de candidatos. Em testes com bibliotecas de dezenas de milhares de funções, a abordagem permite manter a qualidade da seleção com um top-K fixo, embora o efeito final dependa do perfil de carga e do cache do fornecedor.

Toollery: seleção de ferramentas para agentes LLM entre dezenas de milhares de opções sem fine-tuning

Porque uma grande biblioteca de ferramentas dificulta a escolha

A biblioteca cresce até conter centenas ou dezenas de milhares de skills, ferramentas e funções de API. Incluir toda a biblioteca no prompt aumenta o número de tokens e a latência. Listas longas de candidatos acrescentam opções que podem distrair a LLM na escolha.

Dois efeitos geram custos:

  • Aumento do número de tokens e da latência.
  • Opções que podem distrair numa lista longa de candidatos.

Critério de escolha: perante uma biblioteca com centenas ou dezenas de milhares de elementos, verificar se o sistema reduz o número de candidatos antes da decisão final da LLM.

Como funciona a compressão da lista de candidatos

Toollery é um framework sem treino para comprimir a lista de candidatos na seleção de skills e ferramentas. O método não exige treino adicional. Funciona tanto com bibliotecas de skills como com registos de ferramentas.

A compressão ocorre antes da decisão final da LLM. Etapas do método:

  1. O sistema recolhe a especificação de cada skill ou ferramenta.
  2. Com base nela, gera consultas que refletem as intenções dos utilizadores.
  3. Cria um índice de pesquisa.
  4. Perante uma consulta real do utilizador, o índice gera um conjunto compacto de candidatos top-K.
  5. A LLM toma a decisão final com base nesse conjunto.

O sistema considera as skills de nível superior e as ferramentas atómicas como capacidades selecionáveis. Critério de aplicabilidade: existência de especificações para as skills e ferramentas. A compressão não exige treino adicional.

O que mostraram as avaliações

As avaliações do Toollery abrangem três conjuntos:

  • SkillRouter: 79K capacidades.
  • BFCL-V4: mais de 440 ferramentas atómicas.
  • Conjunto para um sistema automóvel: 3396 consultas e 220 ferramentas; o conjunto foi fornecido por uma empresa.

Toollery limita a seleção online a um conjunto compacto de candidatos top-K. O método aumenta o recall em comparação com a pesquisa convencional baseada em especificações.

Com um orçamento fixo de top-10, Toollery melhora a seleção de ponta a ponta no conjunto para o sistema automóvel. No BFCL-V4, o método mantém uma AST Accuracy comparável.

Critério prático: avaliar o recall com um top-K definido e a seleção de ponta a ponta. A AST Accuracy com top-10 mantém-se comparável no BFCL-V4.

Onde o efeito depende das condições

Os autores do Toollery salientam que os ganhos de qualidade e de custo dependem da cobertura das cargas de trabalho e do caching do fornecedor. O ganho depende das cargas de trabalho abrangidas pela biblioteca. O caching do fornecedor também faz parte das condições.

Critério de escolha: verificar o efeito nas próprias cargas de trabalho e ter em conta o caching do fornecedor.

Critérios para escolher uma abordagem

A tabela resume os critérios de escolha avaliados pelo Toollery.

CritérioPergunta prática
Dimensão da bibliotecaA biblioteca chega às centenas ou dezenas de milhares de skills, ferramentas ou funções de API?
Seleção antes da LLMO sistema gera um conjunto compacto de candidatos antes da decisão final da LLM?
Treino adicionalO método funciona sem treino adicional?
RecallA seleção aumenta o recall em comparação com a pesquisa convencional baseada em especificações?
Orçamento top-KO método melhora a seleção de ponta a ponta no conjunto para o sistema automóvel com top-10?
Cargas de trabalho e cacheSão tidos em conta a cobertura das cargas de trabalho e o caching do fornecedor?

O critério de escolha combina a dimensão da biblioteca, os requisitos de recall e o orçamento de candidatos top-K. As condições de carga de trabalho e de cache são verificadas em separado.

Perguntas mais frequentes

Materiais semelhantes

Todos os materiais
OpenCollab: coordenação programável de agentes, ambiente de execução controlado e métrica de cumprimento das regras
Notícias

OpenCollab: coordenação programável de agentes, ambiente de execução controlado e métrica de cumprimento das regras

O framework reúne a definição da estrutura de interação entre agentes, um ambiente comum para experimentos e o rastreamento detalhado de eventos, enquanto a métrica Adherence, introduzida agora, reflete o quanto a execução real corresponde ao esquema declarado. Nos benchmarks, a configuração Duo alcança um novo patamar de SOTA, enquanto a variante de agente único se destaca pelo menor consumo de tokens.

11 novembro 2026
Diagnóstico passo a passo de agentes GUI na análise de dashboards: benchmark DashAct
Investigação

Diagnóstico passo a passo de agentes GUI na análise de dashboards: benchmark DashAct

Apresentamos o DashAct — um benchmark com 348 trajetórias verificadas por humanos, que divide o trabalho de agentes GUI com painéis interativos em três etapas e quatro condições visuais. Os resultados revelam problemas persistentes na previsão de ações e na associação a alvos visuais, bem como a dependência das respostas dos agentes do suporte contextual e espacial.

11 novembro 2026
WILSON: integração de ampliações e lâminas de pacientes para análise anatomopatológica e elaboração de laudos
Notícias

WILSON: integração de ampliações e lâminas de pacientes para análise anatomopatológica e elaboração de laudos

O preprint apresenta o WILSON — um modelo de visão e linguagem que codifica imagens de lâminas inteiras e séries de preparações de um mesmo paciente em diferentes ampliações, em vez de apenas uma lâmina «melhor». Sem ajuste fino para a tarefa, supera modelos especializados e maiores para lâminas em várias métricas, com uma carga computacional substancialmente menor, e as suas descrições diagnósticas receberam avaliações mais elevadas dos patologistas.

11 novembro 2026
Toollery: seleção de ferramentas para agentes LLM entre dezenas de milhares de opções sem fine-tuning