大型科学突破无法被规划:自主智能体研究员与模糊测试有许多共通之处

11 九月 20260 视图

新研究的作者认为,自主科学系统应像模糊测试器那样,依赖密集的中间进展信号,而非仅依赖稀疏的最终结果。这种方法使智能体能够探索非常规假设,并避免对基准测试的过拟合。

大型科学突破无法被规划:自主智能体研究员与模糊测试有许多共通之处

科学自古以来就充满了这样的例子:重大发现往往是在违背严格计划的情况下做出的——偶然的观察、意外的结果和研究的旁支,常常比预先设定的目标更有价值。然而,为科研工作而设计的现代自主系统,其构建原则却是“给智能体一个任务和最终指标——它自己就能取得突破”。2026年8月提交至arXiv的一篇最新预印本论文表明,这种范式为何注定失败:只优化最终结果的智能体式自动研究人员,本质上是在做模糊测试,却未能利用模糊测试器最重要的经验——中间覆盖率信号的价值。

可规划突破的错觉

在大多数现代自动研究系统中,科学发现被视为一个优化问题。系统给智能体设定一组实验和最终基准,并期望分数最大化能带来新知识。问题在于,最终评估是一个稀疏信号。它只在最后出现一次,无法说明哪些中间步骤是有用的。当智能体仅因最终结论而获得奖励时,它不可避免地会过拟合测试条件,开始盲目采样相似变体,而不敢冒险探索不熟悉的模式。

这种方法类似于一场考试:先给学生一份问题清单,然后只根据答案的正确性评分,却忽略了他如何寻找解决方案。如果学生死记硬背了典型题目,他会在训练样例上表现良好,但不太可能发现新的物理定律。同样,以最终分数为目标的智能体找到的并非新东西,而只是证实已知数据的内容。

模糊测试作为自动研究的模型

该预印本的作者提出了一个出人意料的类比:解决科学问题的研究智能体,面临着与用于寻找软件漏洞的灰盒模糊测试器相同的稀疏反馈。模糊测试器远非总能立即发现错误。如果它只收到“有错误/无错误”的信号,其工作将毫无意义:大多数运行都以无结果告终。

模糊测试的秘诀在于,每次程序运行不仅根据是否崩溃来衡量,还根据代码覆盖率来衡量。这种密集信号使得部分进展可见:即使未发现漏洞,一条新的执行路径也是向前迈出的一步。模糊测试器利用覆盖率来变异输入数据,并决定将资源投入到哪些分支上。它不会对完成的运行进行排序,而是主动将搜索引导至未探索的区域。

在科学中,类似的机制完全可以这样运作。每个实验,即使从最终假设的角度看是失败的,只要它扩展了认知地图——即关于理论空间中哪些部分已被检验、哪些仍是空白区域的知识——就是有价值的。

有效研究智能体的两个条件

要使自动研究人员真正进行探索而非采样,它需要两种相互关联的能力。

  • 廉价的密集信号。每个实验在最终科学验证可用之前,都应提供一个可观测的认知进展指标。这不一定是对真理的精确度量,而更像是新颖性、未知性或偏离当前世界模型的指示器。
  • 反馈必须驱动行动。获得的信号必须影响下一个干预措施的选择。如果智能体只是将进展记录在日志中,却继续在同一区域采样,则益处甚微。进展信号必须像模糊测试器变异测试用例那样,变异研究的“输入数据”。

重要的是,密集信号是方向而非最终判决。因此,最终验证仍然是必要的:它使用免受适应性重复使用影响的证据来评估论断。否则,一个数千次适应信号的智能体,可能会偶然产生一个虚假发现,该发现仅因过拟合而通过验证。

实验:搜索与采样的对比

该工作的作者在模拟物理环境中验证了这些想法。AI智能体需要发现一个隐藏的物理定律。其中一个智能体的设计使其跟踪自身的中介认知进展——类似于“对可能解释空间的覆盖率”。其他智能体则使用经典的最终结果优化。

结果表明,跟踪进展的智能体成功发现了隐藏定律。基础优化方法则失败了:它们反复采样已有数据并对其过拟合,始终不敢检验冷门模式。这证实了自主研究的关键瓶颈不在于生成假设的能力、模型的能力,甚至不在于数据量,而在于反馈架构。

这意味着什么

将科学自动研究人员与模糊测试器进行比较,不仅仅是一个隐喻,而是一项工程原则。如果我们希望AI做出真正的发现,就不能只给它一个稀疏目标然后等待。我们需要设计密集信号,使即使是缓慢的进展也变得可见,然后允许智能体利用这些信号进行探索。

这种方法改变了科学中对失败的态度:不仅成功的实验有价值,任何缩小未知空间的步骤都有价值。从某种意义上说,这让我们回到了人类科学实践的方式:科学家从一个部分结果走向另一个部分结果,偶尔这些路径汇聚成无法预先计划的重大突破。自主研究系统似乎也必须学习这一点——不是规划发现,而是创造条件,使发现成为可能。

常问问题

大型科学突破无法被规划:自主智能体研究员与模糊测试有许多共通之处