多智能体 LLM 中前序代理的不可靠消息与正确答案替换:一项受控实验

25 十月 20260 视图

在五组任务、五个接收智能体参与的实验中,上游参与者的不实陈述会使下游参与者的正确结论在最多 32% 的情节中发生改变;其中 94% 的情况下,结论被替换为一个具体的错误答案。结果表明,传递信息时必须评估信息来源的可靠性以及接收者已掌握的证据。

多智能体 LLM 中前序代理的不可靠消息与正确答案替换:一项受控实验

实验设计

这项研究于 2026 年 9 月 29 日提交至 arXiv。标题:“When Upstream Messages Override Correct Answers: A Controlled Study of Multi-Agent LLM Collaboration”。作者:Yaxin Gong、Gangyi Zhang、Chongming Gao、Leyang Shen、Chenxiao Fan、Jiakai Wang、Dong Wang、Yang Liu、Wenjie Wang、Xiangnan He。

这项研究检验上游智能体的消息如何影响下游智能体的回答。研究在五个基准测试上进行了受控实验,共有五个接收方。关键参数:

  • 五个基准测试;
  • 五个接收方;
  • 任务保持不变;
  • 下游智能体可获取的证据保持不变。

实践标准:将消息与任务和证据分开评估。

三种条件

研究比较了三种条件。所有条件中的任务和证据都相同,只有消息不同。

条件下游智能体收到的内容
无消息任务和可获取的证据
有原始消息上游智能体的消息
有相反结论结论与原始结论相反的消息

这种设计将消息的影响与任务的影响区分开来。标准:将消息视为一种可以启用或禁用的独立因素。

消息的积极作用

当下游智能体在没有消息时可能会答错,消息往往能提供帮助。在这种情况下,上游智能体的消息会支持正确答案。

实践标准:当下游智能体缺少正确作答所需的证据时,传递消息。

替换正确答案

如果下游智能体在没有消息时本会答对,那么上游智能体的错误消息会在多达 32% 的情况下改变其答案。关键数据:

  • 在没有消息时本会答对的情况下,最多有 32% 会受到影响;
  • 在经过核查的有害影响案例中,有 94% 的情况下,下游智能体照搬了上游智能体给出的具体错误答案;
  • 作者将这一现象称为 “answer substitution”。

标准:检查消息是否会用具体的错误结论替换正确结论。

移除不可靠的消息

移除不可靠的消息可以挽回部分准确率损失。这一措施能减少伤害,但无法恢复到原有水平。

实践标准:在传递消息之前进行筛选,而不是等到作答之后。

消息选择标准

作者指出,选择要传递的消息时,应考虑上游智能体的可靠性,以及下游智能体已经掌握的证据。这意味着,上游智能体的可靠性并非唯一因素。还需要将消息与下游智能体能够自行核实的信息进行对照。

  • 上游智能体的可靠性。
  • 下游智能体已经掌握的证据。
  • 消息与这些证据的一致性。

标准:优先传递与已有证据一致的消息。

常问问题

多智能体 LLM 中前序代理的不可靠消息与正确答案替换:一项受控实验