MathAdv:机器证明的最终准确率隐藏着什么

9 十一月 202614 视图

这套涵盖大学及研究生阶段 13 个数学分支的诊断性任务集,不仅根据最终结果评估 Lean 4 中的机器证明系统,还考察其学科知识、非正式推理质量以及对题目改写的适应能力。分项分析显示,将题目转化为形式化表达仍然是主要障碍,而成功与否在很大程度上取决于数学领域和题目的表述方式。

MathAdv:机器证明的最终准确率隐藏着什么

基准测试具体衡量什么

MathAdv 是用于评估定理证明系统的诊断性基准测试。它涵盖大学及研究生阶段数学的 13 个领域。该基准测试考查 Lean 4 中的定理证明,以及最多三项辅助任务。

组成部分考查内容
Lean 4 中的定理证明系统构建形式化证明的能力
选择题数学知识
填空题非形式化推理
专家级表述变换对问题表述方式的稳健性

定理证明的总体准确率无法显示系统在哪个阶段失分。分项评估将知识、非形式化推理、形式化和稳健性分别考量。实用标准:查看各组成部分的结果,而不只是最终数字。

总体准确率无法反映任务条件的哪些影响

总体准确率会掩盖系统对提示和改写的反应。单一指标无法区分这些条件。下表展示了总体数字会遗漏哪些影响。

条件观察结果应检查的内容
自然语言提示有助于通用大型语言模型,但可能妨碍专用模型有提示与无提示时的结果
等价改写揭示稳健性的显著局限转换后的表述上的结果

自然语言提示有助于通用大型语言模型,但可能妨碍专注于证明的模型。数学上等价的改写会揭示稳健性的显著局限。

总体准确率无法将这些影响与整体证明结果区分开来。单一指标无法显示提示何时有帮助、何时会造成妨碍。实用标准:分别评估对提示的敏感度和对改写的稳健性。

形式化与不同数学领域之间的差异

形式化仍然是一个重要瓶颈。系统在不同数学领域的结果差异显著。该基准测试涵盖大学及研究生阶段数学的多个领域。Lean 4 中的测试将形式化证明与辅助任务区分开来。

观察结果对评估的意义
形式化是瓶颈最终准确率可能受限于将问题转换到形式化环境的过程
领域间存在差异汇总结果会掩盖不同领域之间的差异

实用标准:按数学领域和形式化阶段比较系统。单一总体指标无法显示系统究竟在哪个环节失去了证明。

如何在选择系统时使用基准测试

分项评估能够发现模型的能力以及失败原因。数据集和评估脚本可通过论文页面上的链接获取。论文首个版本于 2026年8月26日 提交;最新列出的版本为 v3,日期为 2026年10月19日。

检查标准:

  • 按数学领域细分结果;
  • 单独报告 Lean 4 中的形式化结果;
  • 比较有自然语言提示和无提示时的表现;
  • 使用数学上等价的改写进行测试;
  • 记录评估说明论文的版本和日期。

这套标准能揭示总体准确率所掩盖的信息。实用的选择标准:比较各组成部分的表现概况,而不只是最终准确率。

常问问题

MathAdv:机器证明的最终准确率隐藏着什么