COPEX 帮助区分模型漏洞与 MCP 基础设施中的薄弱环节
受控基准测试固定了智能体框架,仅评估语言模型在四种 MCP 攻击渠道下、125 个场景中的工具选择。在对九种模型进行的 3,375 次测试中,平均攻击成功率为 64.4%;同时校验输入和上下文后,成功率几乎降低了一半。

现有基准测试往往评估完整部署的智能体。它们将模型的易受攻击程度与防护机制、编排和整体任务执行能力混为一谈。因此,很难判断薄弱环节究竟在模型还是技术栈。
COPEX 将模型隔离为 MCP 客户端。周边智能体技术栈保持固定,只有负责选择工具的模型会改变。这样的测试环境能够将工具选择与其余基础设施的运行情况区分开来。
实践标准:在评估模型易受攻击程度时固定技术栈。COPEX 并不能取代对完整部署智能体的评估。
基准测试如何运作
COPEX 涵盖 25 种攻击类型,分布在 125 个场景中。攻击分布于四个输入面:模型/智能体、客户端、服务器/工具和传输层。这样的覆盖范围有助于检验 MCP 系统的不同层面。
基准测试会固定周边智能体技术栈。只有负责选择工具的模型会改变。因此,测试结果反映的是模型在给定环境中的行为。

实践标准:检查场景对各输入面的覆盖情况。
测试结果显示什么
在九个模型上进行的 3,375 次测试中,攻击平均成功率为 64.4%。各输入面的平均值介于 58.3% 和 71.4% 之间。
一些针对客户端和传输层的攻击,即使不在模型的观察或控制范围内,也能部分奏效。这有助于区分系统对攻击的易受攻击程度与模型的易受攻击程度。
实践标准:解读成功率时要考虑攻击面。部分攻击成功可能源于基础设施薄弱,而非模型本身。
输入层防护
在八种攻击的子集上,与无防护模式相比,同时扫描输入和上下文使攻击成功率降低了 49.6%。
输入防护作为独立的一层发挥作用。它会改变攻击结果,但不能取代对模型和基础设施的评估。
实践标准:在相同的攻击子集上测量防护效果。
如何在模型选择中应用
COPEX 可在固定技术栈的条件下比较模型。这类测试展示的是模型如何选择工具,而不是整个智能体如何完成任务。
模型选择可参考四项标准:
- 比较时固定技术栈;
- 覆盖各个输入面;
- 单独统计不受模型控制的攻击;
- 通过扫描输入和上下文来检验防护效果。
| 标准 | 完整部署智能体评估 | 隔离的模型评估 |
|---|---|---|
| 评估内容 | 将模型的易受攻击程度与防护、编排和任务执行能力一并评估 | 在技术栈固定的情况下评估模型的工具选择 |
| 变化内容 | 整个智能体技术栈 | 只有模型 |
| 如何解读结果 | 模型和基础设施的影响混杂在一起 | 基础设施保持固定,可见模型的影响 |
| 适用场景 | 对整个系统进行验收 | 比较模型并查找基础设施的薄弱环节 |
实践标准:使用隔离测试比较模型,使用完整部署智能体测试验收系统。
发布状态
arXiv 论文:2610.04378,v1 版于 2026年10月3日提交。最新修订版 v2 发布于 2026年10月17日。
该论文被 NeurIPS 2026 Workshop on Agents in the Wild 接收为海报展示。
实践标准:引用数据时注明版本和日期。
常问问题
相关材料
所有材料
概率波浪预报校正:BridgeCast通过流式匹配连接物理模型与再分析资料
本文介绍了一种混合方法,利用条件流匹配、Transformer 架构和外生大气特征,将物理海浪模型的输出转换为接近再分析数据的场。作者称,该方法在不同预报时效和不同区域均稳定优于此前的先进基线方法。
12 十一月 2026
RLTLDR:智能体从失败中自行总结经验,并在下一次尝试中加以运用
失败后,系统会向智能体展示验证器的信号,并要求将其压缩成一条提示;训练基于“任务—提示”配对,不需要教师或标准答案。在复杂的编程和工具调用基准测试中,该方法将 Pass@1 从 GRPO 的 0–1% 提升至 12–31%,其中起决定作用的正是对这种配对关系的学习。
12 十一月 2026
OpenCollab:可编程智能体协调、受控执行环境与规程遵循度指标
该框架将智能体交互结构的设定、统一的实验环境和详细的事件追踪整合在一起;新增的 Adherence 指标则反映实际执行与声明方案的符合程度。在基准测试中,Duo 配置达到新的 SOTA 水平,而单智能体版本的 token 消耗量最低。
11 十一月 2026