Toollery:从数万种选项中为 LLM 智能体挑选工具,无需微调

11 十一月 20264 视图

Toollery 根据技能和工具的描述构建搜索索引,并在收到请求时只向模型传递有限的一组候选项。在规模达数万个函数的库上进行的实验表明,该方法在固定 top-K 的情况下能够保持选择质量,但最终效果取决于负载特征和服务提供商的缓存情况。

Toollery:从数万种选项中为 LLM 智能体挑选工具,无需微调

为什么大型工具库会让选择变得更复杂

工具库会增长到包含数百乃至数万个技能、工具和 API 函数。将整个工具库放入提示词会增加 token 数量和延迟。冗长的候选列表还会为 LLM 的选择带来干扰项。

这会产生两方面的成本:

  • token 数量和延迟增加。
  • 冗长候选列表中的干扰项。

选择标准:当工具库包含数百乃至数万个条目时,应检查系统是否会在 LLM 做出最终决策前缩小候选范围。

候选列表压缩的工作原理

Toollery 是一种免训练框架,用于在选择技能和工具时压缩候选列表。该方法无需微调,既适用于技能库,也适用于工具注册表。

压缩发生在 LLM 做出最终决策之前。该方法的步骤如下:

  1. 系统获取每个技能或工具的规格说明。
  2. 根据规格说明生成反映用户意图的查询。
  3. 构建搜索索引。
  4. 收到真实的用户查询后,索引会生成一个精简的 top-K 候选集。
  5. LLM 根据该候选集做出最终决策。

系统将高层技能和原子工具都视为可供选择的能力。适用标准:技能和工具均有规格说明。压缩无需微调。

评估结果

Toollery 的评估涵盖三个数据集:

  • SkillRouter:79K 项能力。
  • BFCL-V4:超过 440 种原子工具。
  • 汽车系统数据集:3396 条查询和 220 种工具;该数据集由一家公司提供。

Toollery 将在线选择限制在精简的 top-K 候选集中。与常规规格说明搜索相比,该方法提高了召回率。

在固定的 top-10 预算下,Toollery 提升了汽车系统数据集上的端到端选择效果。在 BFCL-V4 上,该方法保持了相当的 AST Accuracy。

实用标准:在给定 top-K 的情况下评估召回率和端到端选择效果。在 BFCL-V4 上,top-10 时的 AST Accuracy 保持相当水平。

效果受条件影响之处

Toollery 的作者指出,质量和成本方面的收益取决于工作负载的覆盖范围以及提供商缓存。收益取决于工具库覆盖了哪些工作负载。提供商缓存也属于影响条件之一。

选择标准:在自己的工作负载上验证效果,并考虑提供商缓存。

方法选择标准

下表汇总了 Toollery 所检验的选择标准。

标准实际问题
工具库规模工具库是否达到包含数百乃至数万个技能、工具或 API 函数的规模?
LLM 决策前筛选系统是否会在 LLM 做出最终决策前生成精简的候选集?
微调该方法是否无需微调即可运行?
召回率与常规规格说明搜索相比,筛选是否能提高召回率?
top-K 预算在 top-10 时,该方法是否能提升汽车系统数据集上的端到端选择效果?
工作负载与缓存是否考虑了工作负载覆盖范围和提供商缓存?

选择标准是综合考虑工具库规模、召回率要求和 top-K 候选预算。工作负载和缓存条件应单独验证。

常问问题

Toollery:从数万种选项中为 LLM 智能体挑选工具,无需微调