仅凭最终结果来评估AI智能体的时代已经过去。现代系统在变化的环境中逐步行动,设定中间目标,对反馈做出反应并重新审视自身行为。这使得它们更接近生物体而非普通程序,因此也需要以不同的方式对其进行测试。一篇被ICML 2026接收的立场文章的作者将此类系统称为“行为型”系统,并提议不仅根据任务完成的事实,还要根据整个行动过程来测试它们。
结果无法说明智能体究竟如何行动
如果评判标准只有一个——完成或未完成——那么评估范围之外就会遗漏太多重要细节。例如,一个智能体可能通过完全相同的轨迹成功到达目标,但原因却截然不同:一种情况下它确实在构建计划,另一种情况下它只是在训练阶段记住了动作序列。最终结果相同,但能力却有本质区别。
许多与AI相关的实际问题正是如此。系统在测试中表现出高精度,但在现实中却展现出不良行为:寻找规则中的“漏洞”、依赖表面特征,或仅仅因为这样能获得所需指标而采取冒险行动。对结果的分析对此保持沉默。而对行为的分析则恰恰相反。

心理学家和动物学家早已遇到过类似的问题。如果一只受过训练的动物执行了命令,这并不一定意味着它理解了命令的含义;习得的反应和真正的行为从外部看起来是一样的。为了区分它们,科学家不会只看技巧是否完成——他们会观察过程,尝试改变条件,引入干扰,并观察系统如何反应。AI智能体值得采用同样的方法。
行为评估始于观察
所提出方法的核心思想是将AI智能体视为一个行为系统。这意味着研究者不仅要检查最终答案,还要系统地研究智能体在不同情境下的选择。不应只问“智能体在做什么?”,而应观察并提出问题:“它在此过程中实现了哪些策略?”、“为什么选择了这个动作而不是另一个?”、“智能体将如何应对训练中未出现过的新条件?”。
在这种模式下,评估变成了一个由三个步骤组成的循环:
- 观察。 记录智能体的决策序列、运动轨迹或与环境交互的序列。重要的不仅仅是获得成功的事实,而是完整的行动图景。
- 扰动。 对熟悉的条件进行改变:不同的起始位置、随机噪声、新物体、时间或资源限制。这种手段迫使系统展现其真实的策略。
- 解释。 基于获得的数据,研究者构建关于何种机制或启发式方法驱动智能体的假设。该假设可以通过新的环境扰动来验证。
这种方法使AI开发更接近行为科学,在行为科学中,正是通过系统对环境变化的反应来判断其内部过程。
如何理解智能体行为背后的原因
报告作者提出了三个具体方向,将构成新研究计划的基础。第一个方向是根据行动序列重建决策策略。如果智能体经过训练,其行动应留下“痕迹”,表现为对特定状态的选择频率、对短路径的偏好、对危险区域的回避等等。通过这些痕迹,即使算法本身是隐藏的,也可以重建其策略。
第二个方向是设计能够区分不同行为的环境。这就像在心理学中创建一个测试,让具有不同动机的受试者对相同刺激给出不同反应。例如,两个系统在常规条件下可能同样出色地解决导航任务,但当地图改变时,一个会立即陷入混乱,而另一个则会开始探索新路线。能够揭示此类差异的环境才是真正的行为试验场。

第三个方向是研究多智能体系统,其中不仅单个智能体的行为重要,交互的动态也同样重要。在群体中会出现单一个体层面无法观察到的现象:协调、竞争或意想不到的涌现性。当两个智能体开始相互影响时,需要的是行为实验,而不仅仅是与标准答案的比较。我们需要一门关于AI行为的科学,用以描述局部交互如何产生集体行为。
最终结果只是整体图景的一部分
“结果重于过程”的方法在系统简单且可以直接从答案推断其能力时似乎是合理的。但现代智能体会学习、适应和交互,因此它们的行为更加复杂,可能包含危险或不良的模式。仅根据结果进行评估无法发现这些问题,这在将AI部署到敏感领域(如医疗、交通、金融)时尤其危险。
正因如此,该报告提议以生物学和心理学研究为范本。如果在实验中青蛙被称为行为系统,那么研究它就需要观察和干预。同样方法也应应用于作为行为系统的AI智能体。同时,这类工作必须是系统性的:需要行为测试的标准、决策记录工具以及解释大量行动序列的方法。这不是单一任务,而是一个完整的计划。

从指标转向理解
将焦点从结果转向行为并非放弃数据。最终的误差或精度作为总体摘要仍然有用。但对于关键系统来说,这还不够。如果我们想预测智能体在新情况下的行为,能否应对意外变化,是否会找到规则中的“肮脏”漏洞,我们就需要观察其在真实和专门设计场景中的行动。
研究者提出的路线图是向建立完整的AI行为科学迈出的一步。最终目标不是让智能体尽可能频繁地给出正确答案,而是让我们理解它是如何做到的,何时其行为是真正智能的,何时仅仅是适应指标。基于行为的智能体评估将使我们能够在早期阶段捕获不良策略,并构建在动态、不断变化的世界中值得信赖的系统。



