基于编译器诊断的 Lean 4 战术有限修复

16 十一月 20260 视图

该模块采用逐步处理方式,不会丢弃被拒绝的策略,而是根据 Lean 报错最多让纠错模型修正 R 次;在有 K 个候选项时,这能提高问题求解率。LeanDojo 和 Lean Workbook 上的实验表明,提升主要来自对浅层执行失败的修复,代价是搜索时间增加。

基于编译器诊断的 Lean 4 战术有限修复

有限修复改变了什么

本文探讨 Lean 4 中的有限 tactic 修复。基础方案只依赖 tactic 采样,并丢弃失败的步骤。有限修复则保留该步骤,并根据编译器诊断对其进行修正。这样,搜索就不会丢失已选定的方向。

方法对失败 tactic 的处理依据
仅采样丢弃该步骤tactic 候选项
有限修复就地修正该步骤编译器错误消息

实践标准:修复用于补充候选项采样,而不是取代它。

带编译器诊断的搜索步骤如何运作

搜索步骤中运行着一个受限的在线模块。

  • 搜索选择 K 个 tactic 候选项。
  • 模型最多修正失败的 tactic R 次。
  • 该方法将编译器错误消息传递给预训练的修复模型。
  • 模型就地修正被拒绝的步骤,而不是将其丢弃。

实践标准:编译器诊断作为局部修正步骤的输入。

K 和 R 的预算

预算由两个参数设定。K 限制每个步骤中的 tactic 候选项数量。R 限制对失败 tactic 的修正次数上限。评估测试了 K = 1、3、5、8。

参数作用评估结果
K每个步骤中的 tactic 候选项数量测试了 1、3、5、8
R对失败 tactic 的修正次数上限修复会增加耗时,但能找到更多证明

修正会增加运行时间,但能够找到更多证明。在采样受限时,它最有帮助。效果会递减:第一次修复尝试带来了总增益的 84–96%。

实践标准:采样受限时,修复最有帮助;增加修正次数带来的效果则会递减。

评估结果

该方法在所有测试过的 K = 1、3、5、8 下都提高了问题求解率。相对增幅最高达到 32%。在 LeanDojo 基准的 1,990 个定理子集中,多解决了 82 个定理。在 Lean Workbook 基准上,问题求解率几乎翻了一番。没有出现回退。

实践标准:在测试过的 K 预算下,修复能够提高问题求解率;评估未涉及这些预算之外的情况。

修复的适用范围

增益几乎完全来自 tactic 执行中的浅层故障。结构性错误(如类型不匹配)几乎不产生增益。

故障类型与增益的关系
tactic 执行浅层故障增益的主要来源
结构性错误,例如类型不匹配几乎不产生增益

实践标准:修复针对的是 tactic 执行中的浅层故障,而非结构性错误。

常问问题

基于编译器诊断的 Lean 4 战术有限修复