Toollery: seleção de ferramentas para agentes LLM entre dezenas de milhares de opções sem fine-tuning
A Toollery cria um índice de pesquisa com base nas descrições de competências e ferramentas e, a cada consulta, transmite ao modelo apenas um conjunto limitado de candidatos. Em testes com bibliotecas de dezenas de milhares de funções, a abordagem permite manter a qualidade da seleção com um top-K fixo, embora o efeito final dependa do perfil de carga e do cache do fornecedor.

Porque uma grande biblioteca de ferramentas dificulta a escolha
A biblioteca cresce até conter centenas ou dezenas de milhares de skills, ferramentas e funções de API. Incluir toda a biblioteca no prompt aumenta o número de tokens e a latência. Listas longas de candidatos acrescentam opções que podem distrair a LLM na escolha.
Dois efeitos geram custos:
- Aumento do número de tokens e da latência.
- Opções que podem distrair numa lista longa de candidatos.
Critério de escolha: perante uma biblioteca com centenas ou dezenas de milhares de elementos, verificar se o sistema reduz o número de candidatos antes da decisão final da LLM.
Como funciona a compressão da lista de candidatos
Toollery é um framework sem treino para comprimir a lista de candidatos na seleção de skills e ferramentas. O método não exige treino adicional. Funciona tanto com bibliotecas de skills como com registos de ferramentas.

A compressão ocorre antes da decisão final da LLM. Etapas do método:
- O sistema recolhe a especificação de cada skill ou ferramenta.
- Com base nela, gera consultas que refletem as intenções dos utilizadores.
- Cria um índice de pesquisa.
- Perante uma consulta real do utilizador, o índice gera um conjunto compacto de candidatos top-K.
- A LLM toma a decisão final com base nesse conjunto.
O sistema considera as skills de nível superior e as ferramentas atómicas como capacidades selecionáveis. Critério de aplicabilidade: existência de especificações para as skills e ferramentas. A compressão não exige treino adicional.
O que mostraram as avaliações
As avaliações do Toollery abrangem três conjuntos:
- SkillRouter: 79K capacidades.
- BFCL-V4: mais de 440 ferramentas atómicas.
- Conjunto para um sistema automóvel: 3396 consultas e 220 ferramentas; o conjunto foi fornecido por uma empresa.
Toollery limita a seleção online a um conjunto compacto de candidatos top-K. O método aumenta o recall em comparação com a pesquisa convencional baseada em especificações.
Com um orçamento fixo de top-10, Toollery melhora a seleção de ponta a ponta no conjunto para o sistema automóvel. No BFCL-V4, o método mantém uma AST Accuracy comparável.
Critério prático: avaliar o recall com um top-K definido e a seleção de ponta a ponta. A AST Accuracy com top-10 mantém-se comparável no BFCL-V4.
Onde o efeito depende das condições
Os autores do Toollery salientam que os ganhos de qualidade e de custo dependem da cobertura das cargas de trabalho e do caching do fornecedor. O ganho depende das cargas de trabalho abrangidas pela biblioteca. O caching do fornecedor também faz parte das condições.
Critério de escolha: verificar o efeito nas próprias cargas de trabalho e ter em conta o caching do fornecedor.
Critérios para escolher uma abordagem
A tabela resume os critérios de escolha avaliados pelo Toollery.
| Critério | Pergunta prática |
|---|---|
| Dimensão da biblioteca | A biblioteca chega às centenas ou dezenas de milhares de skills, ferramentas ou funções de API? |
| Seleção antes da LLM | O sistema gera um conjunto compacto de candidatos antes da decisão final da LLM? |
| Treino adicional | O método funciona sem treino adicional? |
| Recall | A seleção aumenta o recall em comparação com a pesquisa convencional baseada em especificações? |
| Orçamento top-K | O método melhora a seleção de ponta a ponta no conjunto para o sistema automóvel com top-10? |
| Cargas de trabalho e cache | São tidos em conta a cobertura das cargas de trabalho e o caching do fornecedor? |
O critério de escolha combina a dimensão da biblioteca, os requisitos de recall e o orçamento de candidatos top-K. As condições de carga de trabalho e de cache são verificadas em separado.
Perguntas mais frequentes
Materiais semelhantes
Todos os materiais
OpenCollab: coordenação programável de agentes, ambiente de execução controlado e métrica de cumprimento das regras
O framework reúne a definição da estrutura de interação entre agentes, um ambiente comum para experimentos e o rastreamento detalhado de eventos, enquanto a métrica Adherence, introduzida agora, reflete o quanto a execução real corresponde ao esquema declarado. Nos benchmarks, a configuração Duo alcança um novo patamar de SOTA, enquanto a variante de agente único se destaca pelo menor consumo de tokens.
11 novembro 2026
Diagnóstico passo a passo de agentes GUI na análise de dashboards: benchmark DashAct
Apresentamos o DashAct — um benchmark com 348 trajetórias verificadas por humanos, que divide o trabalho de agentes GUI com painéis interativos em três etapas e quatro condições visuais. Os resultados revelam problemas persistentes na previsão de ações e na associação a alvos visuais, bem como a dependência das respostas dos agentes do suporte contextual e espacial.
11 novembro 2026
WILSON: integração de ampliações e lâminas de pacientes para análise anatomopatológica e elaboração de laudos
O preprint apresenta o WILSON — um modelo de visão e linguagem que codifica imagens de lâminas inteiras e séries de preparações de um mesmo paciente em diferentes ampliações, em vez de apenas uma lâmina «melhor». Sem ajuste fino para a tarefa, supera modelos especializados e maiores para lâminas em várias métricas, com uma carga computacional substancialmente menor, e as suas descrições diagnósticas receberam avaliações mais elevadas dos patologistas.
11 novembro 2026