MathAdv:机器证明的最终准确率隐藏着什么
这套涵盖大学及研究生阶段 13 个数学分支的诊断性任务集,不仅根据最终结果评估 Lean 4 中的机器证明系统,还考察其学科知识、非正式推理质量以及对题目改写的适应能力。分项分析显示,将题目转化为形式化表达仍然是主要障碍,而成功与否在很大程度上取决于数学领域和题目的表述方式。

基准测试具体衡量什么
MathAdv 是用于评估定理证明系统的诊断性基准测试。它涵盖大学及研究生阶段数学的 13 个领域。该基准测试考查 Lean 4 中的定理证明,以及最多三项辅助任务。
| 组成部分 | 考查内容 |
|---|---|
| Lean 4 中的定理证明 | 系统构建形式化证明的能力 |
| 选择题 | 数学知识 |
| 填空题 | 非形式化推理 |
| 专家级表述变换 | 对问题表述方式的稳健性 |
定理证明的总体准确率无法显示系统在哪个阶段失分。分项评估将知识、非形式化推理、形式化和稳健性分别考量。实用标准:查看各组成部分的结果,而不只是最终数字。
总体准确率无法反映任务条件的哪些影响
总体准确率会掩盖系统对提示和改写的反应。单一指标无法区分这些条件。下表展示了总体数字会遗漏哪些影响。
| 条件 | 观察结果 | 应检查的内容 |
|---|---|---|
| 自然语言提示 | 有助于通用大型语言模型,但可能妨碍专用模型 | 有提示与无提示时的结果 |
| 等价改写 | 揭示稳健性的显著局限 | 转换后的表述上的结果 |
自然语言提示有助于通用大型语言模型,但可能妨碍专注于证明的模型。数学上等价的改写会揭示稳健性的显著局限。

总体准确率无法将这些影响与整体证明结果区分开来。单一指标无法显示提示何时有帮助、何时会造成妨碍。实用标准:分别评估对提示的敏感度和对改写的稳健性。
形式化与不同数学领域之间的差异
形式化仍然是一个重要瓶颈。系统在不同数学领域的结果差异显著。该基准测试涵盖大学及研究生阶段数学的多个领域。Lean 4 中的测试将形式化证明与辅助任务区分开来。
| 观察结果 | 对评估的意义 |
|---|---|
| 形式化是瓶颈 | 最终准确率可能受限于将问题转换到形式化环境的过程 |
| 领域间存在差异 | 汇总结果会掩盖不同领域之间的差异 |
实用标准:按数学领域和形式化阶段比较系统。单一总体指标无法显示系统究竟在哪个环节失去了证明。
如何在选择系统时使用基准测试
分项评估能够发现模型的能力以及失败原因。数据集和评估脚本可通过论文页面上的链接获取。论文首个版本于 2026年8月26日 提交;最新列出的版本为 v3,日期为 2026年10月19日。
检查标准:
- 按数学领域细分结果;
- 单独报告 Lean 4 中的形式化结果;
- 比较有自然语言提示和无提示时的表现;
- 使用数学上等价的改写进行测试;
- 记录评估说明论文的版本和日期。
这套标准能揭示总体准确率所掩盖的信息。实用的选择标准:比较各组成部分的表现概况,而不只是最终准确率。
常问问题
相关材料
所有材料
AffordanceWAM:可供性作为场景预测与机械臂控制之间的桥梁
该工作介绍了一种生成模型,可同时预测未来的 RGB 观测、标量场、可供性热图和机器人的连续动作指令;该模型利用人类视频扩展交互多样性,无需动作标注或动作重定向。在 RoboCasa、CALVIN ABC→D 和真实任务中,该方法相比仅使用 RGB 数据和仅使用机器人数据的基线均取得了稳定提升。
9 十一月 2026
将演示文稿编辑转化为可控操作:EditPPT 框架与 DeckEdit-Bench 基准测试
作者将幻灯片编辑拆解为针对具体对象的操作、允许执行的动作,以及对其他内容是否保持原样的检查,而非自由生成代码。为衡量质量,作者创建了 DeckEdit-Bench(涵盖 28 份人工制作的演示文稿中的 183 项任务);在五种基础模型上,多智能体方案 EditPPT 的任务成功率为 66.7–74.9%,内容保留率超过 97%。
8 十一月 2026
因子的非欧几何:用于表征解耦的 FactoMap 地图
提出了一种通过区域、由生成器定义的等价关系以及局部尺度来描述因子空间的方法,从而能够区分拓扑上接近但几何结构不同的情况。FactoMap 方法在结构化网格上训练可解释的原型,并在实验中展现出更稳定地保持因子连续性及其分离的能力。
8 十一月 2026