CEG-Agent：通过错误图对 LLM 智能体轨迹中的失败进行因果分析

智能体轨迹诊断的难点

在复杂应用中，人们会使用基于 LLM 的智能体。这类智能体的轨迹很长，因而难以诊断故障。

现有诊断方法将异常、错误和故障混为一谈，导致诊断目标含糊不清。

这些方法没有对具有因果意义的错误如何传播和放大进行结构化建模。因此，任务最终故障无法得到可靠归因。

实用标准：诊断方法应区分不同类型的偏差，并追踪它们之间的因果关系。

什么是 CEG-Agent

CEG-Agent 是一个使用工具的智能体框架，用于对智能体轨迹进行因果诊断。

该框架引入了明确的异常、错误和故障分类体系，并以此构建因果错误图（Causal Error Graphs，CEGs）。

选择标准：框架应提供明确的诊断目标，并以类型化的因果模型为基础。

因果错误图：类型化的因果表示

CEGs 是一种统一的类型化表示，用因果关系连接轨迹中的各个元素。

图中包含三类元素：

• 执行事件；
• 诊断节点；
• 以故障形式呈现的结果。

所有元素都通过统一格式的因果关系相连。这使该图有别于彼此孤立的信号集合。

标准：这种表示应通过明确的因果关系，将执行过程与最终故障联系起来。

CEG-Bench 与基于 AAAP 的标注

为评估轨迹因果诊断而创建了 CEG-Bench。这是一个完全由智能体进行标注的基准测试。

该基准中的 CEG 标注采用对抗式智能体裁决协议（Adversarial Agentic Adjudication Protocol，AAAP）生成。标注具有较高的可靠性和一致性。

研究人员还使用专家构建的人工基准集对标注进行了验证。自动标注与专家标注高度吻合。

标准：经过人工基准验证标注的基准测试，适用于比较因果诊断方法。

结果与选择标准

在 CEG-Bench 实验中，CEG-Agent 达到了最先进的水平。评估依据两项标准进行。

第一项标准是语义宽松评分，第二项是结构精确评分。该框架在这两项标准上都达到了最先进的水平。

选择标准：如果任务同时要求分析在语义和结构上都正确，应以达到这一水平的方法为参考。