将演示文稿编辑转化为可控操作:EditPPT 框架与 DeckEdit-Bench 基准测试
作者将幻灯片编辑拆解为针对具体对象的操作、允许执行的动作,以及对其他内容是否保持原样的检查,而非自由生成代码。为衡量质量,作者创建了 DeckEdit-Bench(涵盖 28 份人工制作的演示文稿中的 183 项任务);在五种基础模型上,多智能体方案 EditPPT 的任务成功率为 66.7–74.9%,内容保留率超过 97%。

将幻灯片编辑视为受限操作
可靠地编辑幻灯片,需要准确修改指定对象,同时保留演示文稿的其他部分。本文作者建议将编辑视为一种结构化的受限变更。开放式代码生成赋予模型自由度,却无法保证相邻元素不受影响。
编辑请求可拆解为三部分:
- 需要修改的对象;
- 应用于这些对象的操作;
- 需要保留的演示文稿状态。
这种拆解能在执行前明确任务边界。模型收到的不是“修改一下幻灯片”这样的笼统指令,而是一组具体目标和约束。这可以降低意外变更的风险。
实用标准:编辑前应明确记录目标对象、操作和需要保留的状态。否则,无法核实指令是否已执行,也无法确认是否影响了多余的图形。
DeckEdit-Bench 如何区分有意变更与意外变更
为进行评估,作者创建了 DeckEdit-Bench。该基准包含针对 28 份人工制作的演示文稿的 183 项编辑任务。目标对象和需要保留的对象均在图形级别进行了标注。有意变更和意外变更主要通过确定性规则进行评估。
该基准记录两类变更:有意变更和意外变更。这样的划分不仅可以检查编辑结果,还能检查其副作用。

评估结构可概括如下:
| 评估内容 | 评估方式 |
|---|---|
| 任务集 | 183 项任务,涉及 28 份人工制作的演示文稿 |
| 标注 | 在图形级别标注目标对象和需要保留的对象 |
| 变更 | 有意变更和意外变更,主要依据确定性规则 |
该基准同时检查两项结果:指令是否已执行,以及需要保留的对象是否完好。这种方法可以将有效编辑与附带变更区分开来。实用标准:编辑评估应包含对保留情况的检查,而不能只看目标对象是否发生变化。
EditPPT 的架构:代理、工具与验证
EditPPT 是一个多代理框架。它会在编辑前确定目标对象。每个专用代理只能使用 37 种预定义工具的一个子集。完成操作后,框架会检查指令是否已执行,以及需要保留的对象是否完好。失败的变更会被修正或回滚。
工作步骤:
- 在编辑前确定目标对象。
- 将专用代理限制在 37 种预定义工具的一个子集中。
- 检查指令是否已执行,以及需要保留的对象是否完好。
- 修正或回滚失败的变更。
限制工具集可以缩小代理的操作空间。执行后的验证和回滚则增加了后续控制。实用标准:可靠的编辑不仅需要模型,还需要对变更执行过程加以约束。
五种基础模型的结果
在五种基础模型上,EditPPT 的 Task Success 达到 66.7–74.9%。与此同时,Preservation 保持在 97% 以上。这些结果表明,该框架在执行编辑任务时能够保持演示文稿的完整性。
使用未经特定任务微调的 27B 开源模型时,EditPPT 的 Task Success 接近 Claude Code with Sonnet 5。同时,它更好地保留了原始演示文稿。这一比较之所以重要,是因为该开源模型没有针对特定任务进行微调。
| 条件 | Task Success | Preservation |
|---|---|---|
| 使用 EditPPT 的五种基础模型 | 66.7–74.9% | 高于 97% |
| 使用 EditPPT 的未经微调的 27B 开源模型 | 接近 Claude Code with Sonnet 5 | 更好地保留原始演示文稿 |
作者得出结论:幻灯片编辑的可靠性不仅取决于模型规模,也取决于对变更执行过程的约束。实用标准:选择方案时,应关注其约束和验证机制,而不应只看模型规模。
演示文稿编辑的实用标准
该框架和基准为组织编辑工作提供了一套标准。它们不依赖开放式代码生成,而是基于明确的约束。
标准:
- 在开始编辑前确定目标对象;
- 单独记录需要保留的对象;
- 让代理使用受限的工具集;
- 检查结果是否符合指令;
- 单独检查演示文稿的完整性;
- 修正或回滚失败的变更。
这些标准既适用于工具评估,也适用于流程设计。核心结论:编辑的可靠性取决于可控的操作和对完整性的验证。模型规模固然重要,但无法取代对变更执行过程的约束。
常问问题
相关材料
所有材料
验证候选项比生成候选项更昂贵:对抗 LLM 漏洞搜索的诱饵
本文剖析了智能体缺陷搜索中的成本不对称:生成候选版本成本低廉,而通过可达性分析、执行和 PoC 对其进行确认却要耗费主要预算,因此可以将验证本身作为独立的防御目标。本文提出的 RedHerring 是一套针对代码仓库定制、带有隐藏证书的诱饵;在投入相同成本的情况下,它使 33 个 OSS-Fuzz 项目中发现的真实漏洞数量减少了 38.7–60.4%;即使提前告知智能体,降幅仍达 37.2%。
9 十一月 2026
通过 SQL 视图检查 LLM 幻觉,无需微调
这项研究考察了 LLM 能否运用一项基础的符号技能——根据源文档构建 SQL 数据库——在幻觉检测中实现无监督的来源归因。在 RAGTruth 和 DiaHalu 上,这种神经符号流程比直接预测更准确,且性能可与先进方法相媲美,无需针对特定领域进行微调。
9 十一月 2026
MathAdv:机器证明的最终准确率隐藏着什么
这套涵盖大学及研究生阶段 13 个数学分支的诊断性任务集,不仅根据最终结果评估 Lean 4 中的机器证明系统,还考察其学科知识、非正式推理质量以及对题目改写的适应能力。分项分析显示,将题目转化为形式化表达仍然是主要障碍,而成功与否在很大程度上取决于数学领域和题目的表述方式。
9 十一月 2026