COPEX 帮助区分模型漏洞与 MCP 基础设施中的薄弱环节

12 十一月 20266 视图

受控基准测试固定了智能体框架,仅评估语言模型在四种 MCP 攻击渠道下、125 个场景中的工具选择。在对九种模型进行的 3,375 次测试中,平均攻击成功率为 64.4%;同时校验输入和上下文后,成功率几乎降低了一半。

COPEX 帮助区分模型漏洞与 MCP 基础设施中的薄弱环节

现有基准测试往往评估完整部署的智能体。它们将模型的易受攻击程度与防护机制、编排和整体任务执行能力混为一谈。因此,很难判断薄弱环节究竟在模型还是技术栈。

COPEX 将模型隔离为 MCP 客户端。周边智能体技术栈保持固定,只有负责选择工具的模型会改变。这样的测试环境能够将工具选择与其余基础设施的运行情况区分开来。

实践标准:在评估模型易受攻击程度时固定技术栈。COPEX 并不能取代对完整部署智能体的评估。

基准测试如何运作

COPEX 涵盖 25 种攻击类型,分布在 125 个场景中。攻击分布于四个输入面:模型/智能体、客户端、服务器/工具和传输层。这样的覆盖范围有助于检验 MCP 系统的不同层面。

基准测试会固定周边智能体技术栈。只有负责选择工具的模型会改变。因此,测试结果反映的是模型在给定环境中的行为。

实践标准:检查场景对各输入面的覆盖情况。

测试结果显示什么

在九个模型上进行的 3,375 次测试中,攻击平均成功率为 64.4%。各输入面的平均值介于 58.3% 和 71.4% 之间。

一些针对客户端和传输层的攻击,即使不在模型的观察或控制范围内,也能部分奏效。这有助于区分系统对攻击的易受攻击程度与模型的易受攻击程度。

实践标准:解读成功率时要考虑攻击面。部分攻击成功可能源于基础设施薄弱,而非模型本身。

输入层防护

在八种攻击的子集上,与无防护模式相比,同时扫描输入和上下文使攻击成功率降低了 49.6%。

输入防护作为独立的一层发挥作用。它会改变攻击结果,但不能取代对模型和基础设施的评估。

实践标准:在相同的攻击子集上测量防护效果。

如何在模型选择中应用

COPEX 可在固定技术栈的条件下比较模型。这类测试展示的是模型如何选择工具,而不是整个智能体如何完成任务。

模型选择可参考四项标准:

  • 比较时固定技术栈;
  • 覆盖各个输入面;
  • 单独统计不受模型控制的攻击;
  • 通过扫描输入和上下文来检验防护效果。
标准完整部署智能体评估隔离的模型评估
评估内容将模型的易受攻击程度与防护、编排和任务执行能力一并评估在技术栈固定的情况下评估模型的工具选择
变化内容整个智能体技术栈只有模型
如何解读结果模型和基础设施的影响混杂在一起基础设施保持固定,可见模型的影响
适用场景对整个系统进行验收比较模型并查找基础设施的薄弱环节

实践标准:使用隔离测试比较模型,使用完整部署智能体测试验收系统。

发布状态

arXiv 论文:2610.04378,v1 版于 2026年10月3日提交。最新修订版 v2 发布于 2026年10月17日。

该论文被 NeurIPS 2026 Workshop on Agents in the Wild 接收为海报展示。

实践标准:引用数据时注明版本和日期。

常问问题

COPEX 帮助区分模型漏洞与 MCP 基础设施中的薄弱环节