LLM 智能体的执行控制:将进度评估和停止权限移出生成器,可节省三分之一的 token

22 十月 20261 视图

这篇预印本描述了一种情形:语言智能体在达成目标后,仍继续进行收益甚微的改进和检查,并将其归因于一个自我强化的循环,其中生成、进度评估和停止决策彼此未分离。所提出的、考虑不确定性的全局控制层将成功率维持在约 96.6%,同时将平均 token 消耗降低了 36.4%,不过目前的结论仍来自机制模拟。

LLM 智能体的执行控制:将进度评估和停止权限移出生成器,可节省三分之一的 token

什么是 LLM Parkinsonism

LLM Parkinsonism 这一术语被引入作为一种狭义的非临床隐喻,用来描述在行动对任务的价值降低后,仍持续采取行动的现象。

此类行为的特征:

  • 智能体在实现最初目标后仍继续行动;
  • 执行价值较低的改进;
  • 启动重复检查;
  • 修复自身造成的复杂问题。

结论:这一隐喻指向的是控制失灵,而非临床类比。

为什么单一回路中的自我监控会加剧问题

作者认为,问题不仅与自回归的下一 token 预测有关,也在于四项功能集中在同一个回路中。

  • 生成提案;
  • 解释任务范围;
  • 评估进度;
  • 停止权限。

这种回路会产生自我强化效应。评估、生成和停止会相互影响。

结论:要打破自我强化,就需要将部分功能移出生成器。

Global Executive Control:移出生成器的功能

Global Executive Control (GEC) v0.2 是一种考虑不确定性的控制架构。它将动作生成与项目级控制分离。

移出生成器的功能包括:

  • 任务范围;
  • 证据;
  • 资源消耗;
  • 停止。

项目级控制拥有停止权限并负责评估进度。生成器负责采取行动。

结论:实际判断标准是,进度评估和停止应位于生成回路之外。

测量结果显示了什么

基准测试包含 24,000 个具有可比候选项的情节,并设有 40,000 个 token 的统一上限。测试比较了三种方案。

控制方案严格目标成功率
使用首个候选项的基线方案67.42%
使用候选集的局部控制方案96.53%
GEC96.57%

能够访问多个动作方案,是成功率提升的主要原因。GEC 在保持成功率的同时降低了平均 token 使用量。

  • 平均 token 使用量:从 19,782 降至 12,574(36.4%);
  • 在 40,000 个 token 上限下,完成前受限平均 token 数:从 16,136 降至 13,114(18.7%)。

GEC 消除了测得的任务完成前漂移,并大幅减少了过度复杂化。在每个周期最多增加 500 个合成控制 token 时,对控制开销的敏感度仍然良好。

结论:成功率的主要提升来自候选集;GEC 在此基础上进一步节省 token 并控制复杂度。

选择控制方案的实用标准

值得检查以下五项条件:

  • 外部进度评估与生成器分离;
  • 停止权限位于生成回路之外;
  • 可以访问多个动作候选项;
  • 考虑资源消耗;
  • 考虑不确定性。

结论:如果这些功能仍留在生成器内部,低价值改进和多余 token 的风险就依然存在。

局限性及后续验证方向

研究结果来自机理模拟。作者认为,这些结果支持对任务范围、证据、资源消耗和停止进行明确控制。

局限性:

  • 仍需在真实模型上进行验证;
  • 机理模拟不能取代此类验证。

结论:这一架构原则看起来有充分依据,但未经验证,不能将这些数据直接套用于真实 LLM。

常问问题

LLM 智能体的执行控制:将进度评估和停止权限移出生成器,可节省三分之一的 token