Toollery: selección de herramientas para agentes LLM entre decenas de miles de opciones sin necesidad de ajuste fino

11 noviembre 20264 vistas

Toollery construye un índice de búsqueda a partir de las descripciones de habilidades y herramientas y, al recibir una consulta, solo envía al modelo un conjunto limitado de candidatos. En experimentos con bibliotecas de hasta decenas de miles de funciones, el enfoque permite mantener la calidad de selección con un top-K fijo, aunque el efecto final depende del perfil de carga y del almacenamiento en caché del proveedor.

Toollery: selección de herramientas para agentes LLM entre decenas de miles de opciones sin necesidad de ajuste fino

Por qué una biblioteca grande de herramientas complica la elección

La biblioteca crece hasta incluir cientos o decenas de miles de habilidades, herramientas y funciones de API. Incluir toda la biblioteca en el prompt aumenta el número de tokens y la latencia. Las listas largas de candidatos añaden opciones que distraen al LLM durante la elección.

Dos efectos generan costes:

  • Aumento del número de tokens y de la latencia.
  • Opciones que distraen en una lista larga de candidatos.

Criterio de elección: cuando la biblioteca contiene cientos o decenas de miles de elementos, comprobar si el sistema reduce el número de candidatos antes de la decisión final del LLM.

Cómo funciona la compresión de la lista de candidatos

Toollery es un framework sin entrenamiento para comprimir la lista de candidatos al elegir habilidades y herramientas. El método no requiere entrenamiento adicional. Funciona tanto con bibliotecas de habilidades como con registros de herramientas.

La compresión se realiza antes de la decisión final del LLM. Etapas del método:

  1. El sistema toma la especificación de cada habilidad o herramienta.
  2. A partir de ella, genera consultas que reflejan las intenciones de los usuarios.
  3. Construye un índice de búsqueda.
  4. Ante una consulta real del usuario, el índice forma un conjunto compacto de candidatos top-K.
  5. El LLM toma la decisión final a partir de ese conjunto.

El sistema considera las habilidades de nivel superior y las herramientas atómicas como capacidades seleccionables. Criterio de aplicabilidad: que haya especificaciones de las habilidades y herramientas. La compresión no requiere entrenamiento adicional.

Qué mostraron las evaluaciones

Las evaluaciones de Toollery abarcan tres conjuntos:

  • SkillRouter: 79K capacidades.
  • BFCL-V4: más de 440 herramientas atómicas.
  • Conjunto de datos para un sistema automotriz: 3396 consultas y 220 herramientas; la empresa proporcionó el conjunto.

Toollery limita la selección en línea a un conjunto compacto de candidatos top-K. El método mejora el recall en comparación con la búsqueda habitual por especificaciones.

Con un presupuesto fijo de top-10, Toollery mejora la selección de extremo a extremo en el conjunto de datos para un sistema automotriz. En BFCL-V4, el método mantiene una AST Accuracy comparable.

Criterio práctico: evaluar el recall con un top-K determinado y la selección de extremo a extremo. La AST Accuracy con top-10 sigue siendo comparable en BFCL-V4.

En qué casos depende el efecto

Los autores de Toollery señalan que las mejoras en calidad y coste dependen de la cobertura de las cargas de trabajo y del almacenamiento en caché del proveedor. La mejora depende de qué cargas de trabajo cubre la biblioteca. El almacenamiento en caché del proveedor también forma parte de las condiciones.

Criterio de elección: comprobar el efecto en las propias cargas de trabajo y tener en cuenta el almacenamiento en caché del proveedor.

Criterios para elegir un enfoque

La tabla resume los criterios de elección que evalúa Toollery.

CriterioPregunta práctica
Tamaño de la biblioteca¿La biblioteca alcanza cientos o decenas de miles de habilidades, herramientas o funciones de API?
Filtrado antes del LLM¿El sistema forma un conjunto compacto de candidatos antes de la decisión final del LLM?
Entrenamiento adicional¿Funciona el método sin entrenamiento adicional?
Recall¿El filtrado mejora el recall en comparación con la búsqueda habitual por especificaciones?
Presupuesto top-K¿El método mejora la selección de extremo a extremo en el conjunto de datos para un sistema automotriz con top-10?
Cargas de trabajo y caché¿Se tienen en cuenta la cobertura de las cargas de trabajo y el almacenamiento en caché del proveedor?

El criterio de elección combina el tamaño de la biblioteca, los requisitos de recall y el presupuesto de candidatos top-K. Las condiciones de carga de trabajo y caché se comprueban por separado.

Preguntas frecuentes

Material similar

Todos los materiales
OpenCollab: coordinación programable de agentes, entorno de ejecución controlado y métrica de cumplimiento de las normas
Noticias

OpenCollab: coordinación programable de agentes, entorno de ejecución controlado y métrica de cumplimiento de las normas

El framework integra la definición de la estructura de interacción entre agentes, un entorno común para los experimentos y un seguimiento detallado de los eventos, mientras que la métrica Adherence, introducida en este trabajo, refleja hasta qué punto la ejecución real se ajusta al esquema declarado. En los benchmarks, la configuración Duo alcanza un nuevo nivel de SOTA, mientras que la variante de un solo agente destaca por consumir la menor cantidad de tokens.

11 noviembre 2026
Diagnóstico por etapas de agentes GUI al analizar dashboards: el benchmark DashAct
Investigación

Diagnóstico por etapas de agentes GUI al analizar dashboards: el benchmark DashAct

Se presenta DashAct, un benchmark de 348 trayectorias verificadas por humanos que desglosa el trabajo de los agentes GUI con paneles interactivos en tres etapas y cuatro condiciones visuales. Los resultados revelan problemas persistentes para predecir acciones y vincularlas con objetivos visuales, así como la dependencia de las respuestas de los agentes del apoyo contextual y espacial.

11 noviembre 2026
WILSON: integración de aumentos y portaobjetos del paciente para el análisis anatomopatológico y la elaboración de informes
Noticias

WILSON: integración de aumentos y portaobjetos del paciente para el análisis anatomopatológico y la elaboración de informes

El preprint presenta WILSON, un modelo de visión y lenguaje que codifica imágenes de portaobjetos completos y series de muestras de un mismo paciente a distintos aumentos, en lugar de limitarse a un único portaobjetos «mejor». Sin necesidad de ajustarlo a la tarea, supera a modelos especializados y de mayor tamaño para portaobjetos en varias métricas, con una carga computacional considerablemente menor, y sus descripciones diagnósticas obtuvieron puntuaciones más altas de los patólogos.

11 noviembre 2026
Toollery: selección de herramientas para agentes LLM entre decenas de miles de opciones sin necesidad de ajuste fino