不依赖提示词的智能体策略测试:可执行环境、测试套件与可训练过滤器

20 十一月 20260 视图

该研究提出了一种框架,可将执行环境转化为用于测试智能体策略的场景集合,并支持迭代改进防护组件。训练后的过滤器将成功违规的比例降低了 40–44%(相比仅依赖提示词中的指令),同时也更少误拒安全请求。

不依赖提示词的智能体策略测试:可执行环境、测试套件与可训练过滤器

提示词的边界:为什么仅有指令还不够

在定制化智能体部署中,策略规定了工具、资源和执行条件的使用规则。将这些规则纳入提示词,并不能可靠地防止违规。提示词只提供文本,却不会检查实际调用。所有违规案例中,使用的都是获准使用的工具。这意味着,检查对象应是参数、资源和上下文,而不只是工具名称。

要训练防护机制,需要同时具备符合策略和违反策略的调用示例。没有这样的配对,检查就只能依赖规则文本,而不是可观察到的行为。

实践标准:将提示词视为规则的载体。根据调用数据及其结果来构建检查机制。

可执行环境:根据实际调用进行检查

AgentPolicyForge 使用可执行环境来创建策略基准测试,并迭代训练防护机制。环境会执行工具调用并记录结果。根据执行结果判断是否符合策略。这与阅读提示词不同:检查依据的是实际执行情况。

检查的关键要素:

  • 在环境中执行调用;
  • 记录调用结果;
  • 根据策略核查参数、资源和上下文;
  • 在违规示例中使用获准的工具。

结论:基准测试必须能够执行。选择环境的标准是能否保留执行结果,以及能否检查参数、资源和上下文。

PolicyGym:训练场景与留出测试

基于该框架构建了 PolicyGym,这是一个涵盖十个策略类别的数据集。其中包含 698 个用于生成训练数据的场景。此外,还单独设置了 254 个留出场景,用于构建测试集。

数据集部分用途数量
用于生成训练数据的场景准备训练示例698
留出场景测试集254

留出场景经过人工审核。实践标准:训练场景与留出场景应分开。测试集必须独立于训练数据生成过程。

训练型过滤器与智能体自我调节

PolicyGym 对比了两种方法:智能体根据策略进行自我调节,以及训练型防护机制。最终的防护机制配置使成功攻击率相对降低了 40–44%。与仅在提示词中应用策略相比,它对无害请求的错误拒绝也更少。

配置使用内容实际结果
仅在提示词中加入策略策略文本比较基准
最终的防护机制配置训练型过滤器成功攻击率降低 40–44%;错误拒绝更少

实践标准:将防护机制与提示词基准进行比较,同时关注成功攻击和错误拒绝。

迭代循环:攻击、微调、更新攻击档案

示例构建流程支持对防护机制进行迭代训练。攻击者利用提取出的策略生成请求。防护机制则在经过环境验证的平衡示例上进行微调。即使攻击档案固定不变,训练也能提升策略的执行效果。

更新攻击档案还能带来额外效果。与保持攻击档案不变相比,它能降低域内攻击的成功率。

循环步骤:

  1. 提取攻击策略。
  2. 由攻击者生成请求。
  3. 在可执行环境中验证示例。
  4. 平衡示例并微调防护机制。
  5. 更新攻击档案。

实践标准:将攻击档案更新和环境内示例验证纳入循环。即使攻击档案固定不变,训练也能产生效果。更新档案还能进一步降低域内攻击的成功率。

常问问题

不依赖提示词的智能体策略测试:可执行环境、测试套件与可训练过滤器