RobustSGPO具体控制什么
RobustSGPO在SGPO——基于语义梯度的提示词优化——的基础上,引入执行反馈。SGPO的局部规则不会指定编辑幅度和具体操作。
控制范围包括编辑请求、对生成的补丁进行检查,以及为下一步选择起点。这样就能将对候选项搜索的控制与反馈信号本身区分开来。
实用判断标准:如果调整过程中需要指定编辑操作并检查补丁,而不仅仅是获取反馈,那么这种方法就适用。
候选项搜索如何运作
流程包括三个步骤:
- 指定所请求的编辑操作。
- 生成补丁并检查。
- 从当前最佳候选项或已保存的快照继续搜索。

| 起点 | 搜索从何处继续 |
|---|---|
| 当前最佳候选项(incumbent) | 从当前最佳候选项继续 |
| 已保存的快照(retained snapshots) | 从已保存的版本继续 |
此选择决定搜索将从哪个版本继续。判断标准是:需要当前最佳版本,还是需要已保存的备选起点。
如何规划编辑分辨率
研究比较了周期性调度 $1\to2\to3$ 与固定最大分辨率。周期性调度的测试评分比固定调度高出0.28分。
作者评估了分辨率调度、累积限制以及在不同任务系列之间的迁移。结果仅适用于这些评估,并不能证明该调度普遍更优。
比较标准是所选调度下的测试评分。在这项研究中,周期性调整分辨率的表现更好。
质量评估结果如何
在AgentX brainstorming工作流中,研究人员针对120项任务进行了95次运行,共获得7,350次候选项尝试。
在30项留出任务上,完成率从60.0%升至80.0%。在2,000万个token的预算下,测试质量从3.77升至4.14。
这些指标反映的是特定评估的结果。比较系统时,应考虑该评估所用的任务和预算,而不要将这些数字直接套用于其他条件。
如何选择候选项保留策略
保留候选项会带来可量化的开销。同时,对搜索空间的控制可通过可执行的编辑和备选起点提升质量。
| 策略 | 任务分布变化后的结果 |
|---|---|
| 按类别保留 | 减轻在原始任务上的性能下降 |
| 随机保留 | 在目标任务集上取得更高结果 |
选择取决于优先事项:是维持在原始任务上的表现,还是在目标任务集上取得更高结果。候选项保留成本仍是评估的一部分。



