Toollery:从数万种选项中为 LLM 智能体挑选工具,无需微调
Toollery 根据技能和工具的描述构建搜索索引,并在收到请求时只向模型传递有限的一组候选项。在规模达数万个函数的库上进行的实验表明,该方法在固定 top-K 的情况下能够保持选择质量,但最终效果取决于负载特征和服务提供商的缓存情况。

为什么大型工具库会让选择变得更复杂
工具库会增长到包含数百乃至数万个技能、工具和 API 函数。将整个工具库放入提示词会增加 token 数量和延迟。冗长的候选列表还会为 LLM 的选择带来干扰项。
这会产生两方面的成本:
- token 数量和延迟增加。
- 冗长候选列表中的干扰项。
选择标准:当工具库包含数百乃至数万个条目时,应检查系统是否会在 LLM 做出最终决策前缩小候选范围。
候选列表压缩的工作原理
Toollery 是一种免训练框架,用于在选择技能和工具时压缩候选列表。该方法无需微调,既适用于技能库,也适用于工具注册表。

压缩发生在 LLM 做出最终决策之前。该方法的步骤如下:
- 系统获取每个技能或工具的规格说明。
- 根据规格说明生成反映用户意图的查询。
- 构建搜索索引。
- 收到真实的用户查询后,索引会生成一个精简的 top-K 候选集。
- LLM 根据该候选集做出最终决策。
系统将高层技能和原子工具都视为可供选择的能力。适用标准:技能和工具均有规格说明。压缩无需微调。
评估结果
Toollery 的评估涵盖三个数据集:
- SkillRouter:79K 项能力。
- BFCL-V4:超过 440 种原子工具。
- 汽车系统数据集:3396 条查询和 220 种工具;该数据集由一家公司提供。
Toollery 将在线选择限制在精简的 top-K 候选集中。与常规规格说明搜索相比,该方法提高了召回率。
在固定的 top-10 预算下,Toollery 提升了汽车系统数据集上的端到端选择效果。在 BFCL-V4 上,该方法保持了相当的 AST Accuracy。
实用标准:在给定 top-K 的情况下评估召回率和端到端选择效果。在 BFCL-V4 上,top-10 时的 AST Accuracy 保持相当水平。
效果受条件影响之处
Toollery 的作者指出,质量和成本方面的收益取决于工作负载的覆盖范围以及提供商缓存。收益取决于工具库覆盖了哪些工作负载。提供商缓存也属于影响条件之一。
选择标准:在自己的工作负载上验证效果,并考虑提供商缓存。
方法选择标准
下表汇总了 Toollery 所检验的选择标准。
| 标准 | 实际问题 |
|---|---|
| 工具库规模 | 工具库是否达到包含数百乃至数万个技能、工具或 API 函数的规模? |
| LLM 决策前筛选 | 系统是否会在 LLM 做出最终决策前生成精简的候选集? |
| 微调 | 该方法是否无需微调即可运行? |
| 召回率 | 与常规规格说明搜索相比,筛选是否能提高召回率? |
| top-K 预算 | 在 top-10 时,该方法是否能提升汽车系统数据集上的端到端选择效果? |
| 工作负载与缓存 | 是否考虑了工作负载覆盖范围和提供商缓存? |
选择标准是综合考虑工具库规模、召回率要求和 top-K 候选预算。工作负载和缓存条件应单独验证。
常问问题
相关材料
所有材料
仪表板分析中 GUI 智能体的分阶段诊断:DashAct 基准测试
介绍 DashAct:一个包含 348 条经人工验证轨迹的基准测试,将 GUI 代理与交互式面板的工作拆分为三个阶段和四种视觉条件。结果显示,代理在动作预测和视觉目标定位方面存在持续性问题,其响应也依赖于上下文和空间支持。
11 十一月 2026
WILSON:整合患者的放大图像和切片,用于病理形态学分析和报告生成
这篇预印本介绍了 WILSON——一种视觉语言模型,可对整张玻片图像以及同一患者在不同放大倍率下的一系列切片进行编码,而不只是单张“最佳”切片。无需针对特定任务进行微调,它在多项指标上超越了专用且规模更大的切片模型,同时计算负载显著更低;其诊断描述也获得了病理学家更高的评价。
11 十一月 2026
RL 模拟器故障诊断中的规范多项式不变量:它们究竟在何处发挥作用
这项研究检验了将物理定律纳入可训练动力学模型是否合理:从轨迹中提取并通过 Gröbner 基化为规范形式的不变量,虽能小幅提升预测效果,却在诊断方面表现出色——它们能够定位被违反的约束,并找出具体的错误参数。
10 十一月 2026