不依赖提示词的智能体策略测试:可执行环境、测试套件与可训练过滤器
该研究提出了一种框架,可将执行环境转化为用于测试智能体策略的场景集合,并支持迭代改进防护组件。训练后的过滤器将成功违规的比例降低了 40–44%(相比仅依赖提示词中的指令),同时也更少误拒安全请求。

提示词的边界:为什么仅有指令还不够
在定制化智能体部署中,策略规定了工具、资源和执行条件的使用规则。将这些规则纳入提示词,并不能可靠地防止违规。提示词只提供文本,却不会检查实际调用。所有违规案例中,使用的都是获准使用的工具。这意味着,检查对象应是参数、资源和上下文,而不只是工具名称。
要训练防护机制,需要同时具备符合策略和违反策略的调用示例。没有这样的配对,检查就只能依赖规则文本,而不是可观察到的行为。
实践标准:将提示词视为规则的载体。根据调用数据及其结果来构建检查机制。
可执行环境:根据实际调用进行检查
AgentPolicyForge 使用可执行环境来创建策略基准测试,并迭代训练防护机制。环境会执行工具调用并记录结果。根据执行结果判断是否符合策略。这与阅读提示词不同:检查依据的是实际执行情况。

检查的关键要素:
- 在环境中执行调用;
- 记录调用结果;
- 根据策略核查参数、资源和上下文;
- 在违规示例中使用获准的工具。
结论:基准测试必须能够执行。选择环境的标准是能否保留执行结果,以及能否检查参数、资源和上下文。
PolicyGym:训练场景与留出测试
基于该框架构建了 PolicyGym,这是一个涵盖十个策略类别的数据集。其中包含 698 个用于生成训练数据的场景。此外,还单独设置了 254 个留出场景,用于构建测试集。
| 数据集部分 | 用途 | 数量 |
|---|---|---|
| 用于生成训练数据的场景 | 准备训练示例 | 698 |
| 留出场景 | 测试集 | 254 |
留出场景经过人工审核。实践标准:训练场景与留出场景应分开。测试集必须独立于训练数据生成过程。
训练型过滤器与智能体自我调节
PolicyGym 对比了两种方法:智能体根据策略进行自我调节,以及训练型防护机制。最终的防护机制配置使成功攻击率相对降低了 40–44%。与仅在提示词中应用策略相比,它对无害请求的错误拒绝也更少。
| 配置 | 使用内容 | 实际结果 |
|---|---|---|
| 仅在提示词中加入策略 | 策略文本 | 比较基准 |
| 最终的防护机制配置 | 训练型过滤器 | 成功攻击率降低 40–44%;错误拒绝更少 |
实践标准:将防护机制与提示词基准进行比较,同时关注成功攻击和错误拒绝。
迭代循环:攻击、微调、更新攻击档案
示例构建流程支持对防护机制进行迭代训练。攻击者利用提取出的策略生成请求。防护机制则在经过环境验证的平衡示例上进行微调。即使攻击档案固定不变,训练也能提升策略的执行效果。
更新攻击档案还能带来额外效果。与保持攻击档案不变相比,它能降低域内攻击的成功率。
循环步骤:
- 提取攻击策略。
- 由攻击者生成请求。
- 在可执行环境中验证示例。
- 平衡示例并微调防护机制。
- 更新攻击档案。
实践标准:将攻击档案更新和环境内示例验证纳入循环。即使攻击档案固定不变,训练也能产生效果。更新档案还能进一步降低域内攻击的成功率。
常问问题
相关材料
所有材料
PerMIT:LLM 智能体长期记忆的完整性与可机器验证的集体信任
作者提出了 PerMIT 架构,通过有限的内存接口限制环境中的不可信数据影响智能体的敏感操作;两条经 Lean 4 验证的定理以及社区判定结果的累积,在不增加单个用户负担的情况下降低了投毒风险。在 Trojan Hippo 和 τ²-bench 上的实验中,该方案在使用轻量级验证器时未检测到成功注入,并提升了新智能体在留出任务上的表现。
20 十一月 2026
用于头颈部肿瘤质子治疗计划的循证闭环复合多智能体AI系统
该研究描述了经过训练的 PPO 策略与 LLM 智能体的结合:前者生成多个计划选项,后者通过对话进行 уточ уточ(临床指标与约束条件核验);在 21 名患者的数据上,经过微调的 Qwen3-14B 更能遵循指令,并有助于使权衡偏向优先目标。实践结论是,自动化 DRL 规划可以通过可控的对话加以补充,同时保留对相互竞争约束的掌控。
20 十一月 2026
以计算筛选取代经验试错:电池材料的新方法
本文介绍了计算数据库、机器学习和生成式模型如何缩小有前景配方的筛选范围,以及自动化实验室如何加快验证;但最终结果仍取决于合成与测试,预测值可能与实际电导率不符。
20 十一月 2026