输入端多样化,而非推理过程:LLM 测试时增强方法比较
该研究在调用次数相同的条件下,对比了 LLM 推理过程中的不同变异来源——改写提示词、更改拼写和图像变换。在六个基准测试中,保留语义带来了最大的准确率提升,而字符级噪声和同时扰动两种模态的效果则较差。

两种多样性来源:输入与推理
Test-Time Augmentation (TTA) 会聚合经过转换的输入数据版本所产生的预测结果。多样性来自改写问题、更改拼写或转换配套图像。Self-consistency 则采用不同方式:只改变推理路径,并重复使用固定输入。

| 方法 | 多样性来源 |
|---|---|
| TTA | 经过转换的输入数据版本 |
| Self-consistency | 固定输入下的推理路径 |
TTA 检验对输入变化的稳健性。Self-consistency 检验同一输入下推理的稳健性。选择取决于任务需要哪种多样性来源。
为什么推理调用次数相等会改变结论
作者在六个基准测试上比较了不同方案。推理调用次数相同。这样的条件能将多样性来源的影响与额外计算的影响区分开来。
- 六个基准测试;
- 调用次数相同;
- 比较多样性来源,而非计算量。
作者指出:多样性来源比其数量更重要。由此得出的选择建议是:比较方法时,应确保调用次数相同。否则,准确率提升可能归因于调用次数增加,而非多样性来源。
改写:准确率提升与提前达到峰值
在保留含义的前提下改写输入,带来了最大的准确率提升。相较于单次调用,准确率提高了 +1.80 个百分点。使用最少的样本数即可达到准确率峰值。
对于 Claude Haiku 等中等水平的模型,改变问题的措辞比改变推理路径更能有效利用一次推理调用。
实践结论:如果转换能够保留含义,改写就是 TTA 的首选方案。它既能提升准确率,也能更早达到峰值。
字符级噪声:分歧更多,收益更少
字符级噪声导致答案之间的分歧更多:37.8%,而另一种方式为 27.4%。准确率提升则较低。答案差异大并不意味着聚合能带来收益。
含义被破坏后产生的分歧并不可靠。此类分歧无法为聚合提供有用信号。
实践结论:评估准确率,而不仅仅是分歧比例。字符级噪声不能替代保留含义的转换。
双重扰动:组合何时效果更差
同时扰动两种模态,得到的结果低于单次调用的基线水平。组合转换并不能保证提升。
- 同时扰动两种模态;
- 结果低于单次调用的基线水平;
- 单独检验组合效果。
实践结论:只有在单独比较后,才值得组合模态。否则,TTA 的表现可能低于单次调用。
如何在实践中选择方法
选择标准取决于多样性来源、是否保留含义以及调用次数是否相同。
| 任务 | 方法 |
|---|---|
| 检验对措辞的稳健性 | 使用改写的 TTA |
| 在输入不变时检验推理的稳健性 | self-consistency |
| 评估对拼写的敏感度 | 使用字符级噪声的 TTA |
| 组合模态 | 仅在单独比较后进行 |
实践标准:根据任务选择多样性来源。若要通过 TTA 提高准确率,改写带来了测得的最大效果。若要在输入不变时检验推理,则应采用 self-consistency。
常问问题
相关材料
所有材料
验证候选项比生成候选项更昂贵:对抗 LLM 漏洞搜索的诱饵
本文剖析了智能体缺陷搜索中的成本不对称:生成候选版本成本低廉,而通过可达性分析、执行和 PoC 对其进行确认却要耗费主要预算,因此可以将验证本身作为独立的防御目标。本文提出的 RedHerring 是一套针对代码仓库定制、带有隐藏证书的诱饵;在投入相同成本的情况下,它使 33 个 OSS-Fuzz 项目中发现的真实漏洞数量减少了 38.7–60.4%;即使提前告知智能体,降幅仍达 37.2%。
9 十一月 2026
通过 SQL 视图检查 LLM 幻觉,无需微调
这项研究考察了 LLM 能否运用一项基础的符号技能——根据源文档构建 SQL 数据库——在幻觉检测中实现无监督的来源归因。在 RAGTruth 和 DiaHalu 上,这种神经符号流程比直接预测更准确,且性能可与先进方法相媲美,无需针对特定领域进行微调。
9 十一月 2026
MathAdv:机器证明的最终准确率隐藏着什么
这套涵盖大学及研究生阶段 13 个数学分支的诊断性任务集,不仅根据最终结果评估 Lean 4 中的机器证明系统,还考察其学科知识、非正式推理质量以及对题目改写的适应能力。分项分析显示,将题目转化为形式化表达仍然是主要障碍,而成功与否在很大程度上取决于数学领域和题目的表述方式。
9 十一月 2026