随着任务池规模扩大,智能体基准测试的演进:证据筛选与顺序竞赛的作用

19 十一月 20260 视图

这项研究解释了为什么增加任务数量可能会阻碍智能体基准的演进:问题在于证据选择不当,而非数据量本身。所提出的 Successive Scale Racing 通过轮流挑选多样化的任务组合,并以较低成本比较候选方案;在三个基准测试中,随着任务池从 40 个扩大到 200 个,成功运行的比例有所提高,而基线方法则表现退化,验证运行次数也减少了约 60%。

随着任务池规模扩大,智能体基准测试的演进:证据筛选与顺序竞赛的作用

智能体框架优化什么

智能体框架由三个要素构成:指令、工具和智能体的控制流。框架的演进会根据任务执行经验改变这些要素。经验作为不断发展的证据发挥作用。

关键要素:

  • 指令;
  • 工具;
  • 控制流;
  • 作为任务执行经验的证据。

实践结论:框架的质量取决于它如何利用积累的经验。指令和工具的集合本身无法体现演进质量。

任务池扩大的悖论

初步研究发现了一个悖论:随着任务池扩大,现有方法的性能会下降。原因是用于优化的证据筛选不够理想。

证据的不同组合会导致截然不同的演进结果。任务池越大,结果对筛选方式的依赖越强。

结论:扩大任务池并不保证效果提升。扩展任务需要专门的证据筛选机制。

证据筛选:演进的杠杆

证据就是任务执行经验。演进会将其作为改变框架的素材。结果质量取决于证据组合的构成。

不同组合包含的任务各不相同。同一任务可以纳入不同组合。不同组合会带来截然不同的演进结果。

实践标准:重要的是证据筛选原则,而非证据数量。检验标准是方法是否考虑了任务的质量和覆盖范围。

Successive Scale Racing:连续竞赛机制

SSR 是一个自适应搜索最优证据组合的框架。搜索在每一轮演进中进行,而不是预先固定某一种组合。

每轮步骤:

  1. 构建多样化的证据组合。
  2. 考虑相关任务的质量和覆盖范围。
  3. 让候选框架进行竞赛。
  4. 在较小的计算预算内筛选候选者。

竞赛可以找出接近最优的框架。验证运行次数减少了 60%。预算用于比较候选者,而不是穷举所有可能。

实践结论:连续竞赛降低了验证假设的成本。候选者筛选机制比验证次数更重要。

任务池扩大时的结果

SSR 在三个基准测试上进行了验证。该方法在全部六种配置中都取得了最佳结果。任务池从 40 个扩大到 200 个时,通过率从 64.3% 提升到 68.3%。

基线方法的表现则不同。同样扩大任务池后,它们的指标有所下降。形成差距的不是规模,而是证据筛选和候选者竞赛。

方法任务池扩大时通过率的变化
SSR从 64.3% 提升到 68.3%
基线方法下降

结论:方法在扩大的任务池中的表现,体现了其可靠性。在小规模任务集上取得的提升不会自动延续到更大规模。

智能体框架的选择标准

关键标准:

  • 证据筛选原则;
  • 是否考虑任务的质量和覆盖范围;
  • 是否能在不同轮次中自适应搜索组合;
  • 任务池扩大时通过率的表现;
  • 候选者验证预算。

候选者竞赛可将验证运行次数减少 60%。这一指标将筛选质量与验证成本联系起来。

结论:对任务池规模的适应能力,比在狭窄任务集上的表现更重要。能够随着任务池扩大而提升的方法,比仅在有限任务集上取得高分的方法更有用。

常问问题

随着任务池规模扩大,智能体基准测试的演进:证据筛选与顺序竞赛的作用