代理替代独立优化器：一个可在多项任务中同步发展的统一框架

什么是 harness，为什么要优化它

Harness 是围绕语言模型智能体构建的代码。它负责组织提示词、工具调用、上下文管理和执行流程。智能体如何解决任务，取决于这段代码的设计。

在现有的大多数方法中，harness 由人创建。单独的 proposer 会修改求解器的 harness。每个基准测试都会单独演化出一个 harness。这种方法使改进局限于单一任务。

实践标准：同一个框架针对多个任务共同演化，而不是为每个基准测试单独演化。

统一框架：智能体作为自己的优化器

Qiankai Xu 的论文于 2026 年 9 月 29 日提交，题为《多任务上的自进化 Harness：让智能体成为自身优化器》（Self-Evolving Harness on Multiple Tasks with the Agent as Its Own Optimizer）。该方法基于一个冻结模型和一个版本的 harness。

模型先作为 solver 来解决任务，随后又作为 proposer。它读取完整的运行记录，并直接编辑运行它的 harness。无需单独的 proposer。

实践标准：能够读取自身运行记录并修改自身 harness 的智能体，可以取代单独的优化器。

五个基准测试与数据划分

每一轮演化都包含来自五个不同领域基准测试的任务。训练任务与留出任务严格分离。

此外，还会在五个分布外基准测试上进行评估。这些基准测试在演化过程中没有被使用。

实践标准：分布外评估检验的是迁移能力，而不只是对熟悉任务的拟合。

演化的两个阶段

演化过程分为两个阶段，类似于深度模型的训练：

1. 多任务预训练。
2. 持续训练。

初始版本的 harness 有 49 行。第一阶段结束后，模型在分布内基准测试上的平均成绩提高了 4.48 分，在分布外基准测试上提高了 12.64 分。在前者上，模型的成绩超过 Codex；在后者上则与其持平。

第二阶段在 Claw-Eval 上继续演化，使模型在该基准测试上的成绩从 66.17 提高到 68.06。在这一基准测试上，该方法超过了 Codex。

实践标准：预训练拓展迁移能力，持续训练则进一步提升特定基准测试上的表现。

演化过程中形成的机制

作者分析了三种机制：

• 输出截断；
• 历史压缩；
• 独立验证。

输出截断会限制回答长度。历史压缩会缩减上下文。独立验证会增加结果检查。这些机制是在修改 harness 的过程中形成的，并非由人预先设定。

实践标准：这些自然形成的机制可作为评估自有框架的参考。