Toollery : sélection d’outils pour agents LLM parmi des dizaines de milliers d’options sans réentraînement

11 novembre 20264 vues

Toollery construit un index de recherche à partir des descriptions des compétences et des outils, puis ne transmet au modèle qu’un nombre limité de candidats pour chaque requête. Lors d’expériences menées sur des bibliothèques comptant jusqu’à plusieurs dizaines de milliers de fonctions, cette approche permet de maintenir la qualité de sélection avec un top-K fixe, même si l’effet final dépend du profil de charge et de la mise en cache côté fournisseur.

Toollery : sélection d’outils pour agents LLM parmi des dizaines de milliers d’options sans réentraînement

Pourquoi une grande bibliothèque d’outils complique le choix

La bibliothèque passe à des centaines, voire des dizaines de milliers de compétences, d’outils et de fonctions API. Injecter toute la bibliothèque dans le prompt augmente le nombre de tokens et la latence. Les longues listes de candidats ajoutent des options distrayantes parmi lesquelles le LLM doit choisir.

Deux effets engendrent des coûts :

  • Hausse du nombre de tokens et de la latence.
  • Options distrayantes dans une longue liste de candidats.

Critère de choix : avec une bibliothèque de centaines ou de dizaines de milliers d’entrées, vérifier si le système réduit le nombre de candidats avant la décision finale du LLM.

Comment fonctionne la compression de la liste de candidats

Toollery est un framework sans entraînement pour compresser la liste de candidats lors du choix de compétences et d’outils. La méthode ne nécessite pas de fine-tuning. Elle fonctionne aussi bien avec des bibliothèques de compétences qu’avec des registres d’outils.

La compression intervient avant la décision finale du LLM. Les étapes de la méthode :

  1. Le système récupère la spécification de chaque compétence ou outil.
  2. À partir de celle-ci, il génère des requêtes reflétant les intentions des utilisateurs.
  3. Il construit un index de recherche.
  4. À partir d’une véritable requête utilisateur, l’index forme un ensemble compact de candidats top-K.
  5. Le LLM prend la décision finale sur cet ensemble.

Le système considère les compétences de haut niveau et les outils atomiques comme des capacités pouvant être sélectionnées. Critère d’applicabilité : disposer de spécifications pour les compétences et les outils. La compression ne nécessite pas de fine-tuning.

Résultats des évaluations

Les évaluations de Toollery portent sur trois ensembles :

  • SkillRouter : 79K capacités.
  • BFCL-V4 : plus de 440 outils atomiques.
  • Un ensemble pour un système automobile : 3 396 requêtes et 220 outils ; l’ensemble a été fourni par une entreprise.

Toollery limite la sélection en ligne à un ensemble compact de candidats top-K. La méthode améliore le rappel par rapport à une recherche classique fondée sur les spécifications.

Avec un budget top-10 fixe, Toollery améliore la sélection de bout en bout sur l’ensemble pour le système automobile. Sur BFCL-V4, la méthode maintient une AST Accuracy comparable.

Critère pratique : évaluer le rappel pour un top-K donné et la sélection de bout en bout. L’AST Accuracy reste comparable avec top-10 sur BFCL-V4.

Dans quels cas l’effet dépend des conditions

Les auteurs de Toollery indiquent que les gains en qualité et en coût dépendent de la couverture des charges de travail et de la mise en cache du fournisseur. Le gain dépend des charges de travail couvertes par la bibliothèque. La mise en cache du fournisseur fait également partie des conditions à prendre en compte.

Critère de choix : vérifier l’effet sur ses propres charges de travail et tenir compte de la mise en cache du fournisseur.

Critères de choix d’une approche

Le tableau récapitule les critères de choix évalués par Toollery.

CritèreQuestion pratique
Taille de la bibliothèqueLa bibliothèque compte-t-elle des centaines ou des dizaines de milliers de compétences, d’outils ou de fonctions API ?
Sélection avant le LLMLe système forme-t-il un ensemble compact de candidats avant la décision finale du LLM ?
Fine-tuningLa méthode fonctionne-t-elle sans fine-tuning ?
RappelLa sélection améliore-t-elle le rappel par rapport à une recherche classique fondée sur les spécifications ?
Budget top-KLa méthode améliore-t-elle la sélection de bout en bout sur l’ensemble pour le système automobile avec top-10 ?
Charges de travail et cacheLa couverture des charges de travail et la mise en cache du fournisseur sont-elles prises en compte ?

Le critère de choix repose sur l’association de la taille de la bibliothèque, des exigences en matière de rappel et du budget de candidats top-K. Les conditions de charge et de cache sont vérifiées séparément.

Foire aux questions

Matériaux connexes

Tous matériaux
Diagnostic étape par étape des agents GUI lors de l’analyse de tableaux de bord : benchmark DashAct
Recherche

Diagnostic étape par étape des agents GUI lors de l’analyse de tableaux de bord : benchmark DashAct

Découvrez DashAct, un benchmark de 348 trajectoires vérifiées par des humains, qui décompose le travail des agents GUI avec des panneaux interactifs en trois étapes et quatre conditions visuelles. Les résultats révèlent des difficultés persistantes à prédire les actions et à les ancrer sur des cibles visuelles, ainsi que la dépendance des réactions des agents à l’égard du soutien contextuel et spatial.

11 novembre 2026
WILSON : regroupement des grossissements et des lames du patient pour l’analyse pathomorphologique et la rédaction de comptes rendus
Nouvelles

WILSON : regroupement des grossissements et des lames du patient pour l’analyse pathomorphologique et la rédaction de comptes rendus

La prépublication présente WILSON, un modèle vision-langage qui encode des images de lames entières ainsi que des séries de prélèvements d’un même patient à différents grossissements, plutôt qu’une seule lame « optimale ». Sans entraînement supplémentaire pour une tâche donnée, il surpasse des modèles spécialisés et de plus grande taille dans plusieurs métriques, tout en nécessitant beaucoup moins de ressources de calcul, et ses descriptions diagnostiques ont obtenu de meilleures évaluations de la part des pathologistes.

11 novembre 2026
Invariants polynomiaux canoniques pour le diagnostic des défaillances des simulateurs RL : où sont-ils vraiment utiles
Nouvelles

Invariants polynomiaux canoniques pour le diagnostic des défaillances des simulateurs RL : où sont-ils vraiment utiles

Ce travail évalue la pertinence d’intégrer les lois physiques dans des modèles de dynamique entraînables : les invariants extraits des trajectoires et mis sous forme canonique à l’aide de bases de Gröbner n’apportent qu’un gain modeste en matière de prédiction, mais se révèlent très utiles pour le diagnostic — ils permettent de localiser la contrainte violée et d’identifier le paramètre erroné.

10 novembre 2026
Toollery : sélection d’outils pour agents LLM parmi des dizaines de milliers d’options sans réentraînement