Ограниченный ремонт тактик в Lean 4 с опорой на диагностику компилятора

16 ноября 20260 просмотров

Предлагается пошаговый модуль, который не отбрасывает отклонённую тактику, а до R раз поручает модели-корректору исправить её с учётом ошибки Lean; при K кандидатах это повышает долю решённых задач. Опыты на LeanDojo и Lean Workbook показывают прирост в основном за счёт неглубоких сбоев исполнения, ценой увеличения времени поиска.

Ограниченный ремонт тактик в Lean 4 с опорой на диагностику компилятора

Что меняет ограниченный ремонт тактик

Статья рассматривает ограниченный ремонт тактик в Lean 4. Базовый вариант опирается только на выборку тактик и отбрасывает неудачный шаг. Ограниченный ремонт сохраняет шаг и исправляет его по диагностике компилятора. Так поиск не теряет выбранное направление.

ПодходДействие с неудачной тактикойОпора
Только выборкаОтбрасывает шагКандидаты тактик
Ограниченный ремонтИсправляет шаг на местеСообщение об ошибке компилятора

Практический критерий: ремонт дополняет выборку кандидатов, а не заменяет её.

Как устроен шаг поиска с диагностикой компилятора

На шаге поиска действует ограниченный онлайн-модуль.

  • Поиск выбирает K кандидатов тактик.
  • Неудачную тактику модель исправляет не более R раз.
  • Метод передаёт сообщение об ошибке компилятора предварительно обученной модели исправления.
  • Модель исправляет отклонённый шаг на месте, а не отбрасывает его.

Практический критерий: диагностика компилятора служит входом для локальной правки шага.

Бюджеты K и R

Бюджет задают два параметра. K ограничивает число кандидатов тактик на шаге. R ограничивает число исправлений неудачной тактики. В оценке проверены K = 1, 3, 5, 8.

ПараметрРольЧто показывает оценка
KЧисло кандидатов тактик на шагеПроверены значения 1, 3, 5, 8
RПредел исправлений неудачной тактикиРемонт увеличивает время, но даёт дополнительные доказательства

Исправление увеличивает время выполнения, но позволяет находить дополнительные доказательства. Наибольшую пользу оно приносит при ограниченной выборке. Эффект убывает: первая попытка исправления даёт 84–96% общего прироста.

Практический критерий: при ограниченной выборке ремонт даёт наибольшую пользу, а эффект дополнительных исправлений убывает.

Что показывает оценка

Метод повышает долю решённых задач при всех проверенных K = 1, 3, 5, 8. Относительный прирост достигает 32%. На подмножестве из 1 990 теорем бенчмарка LeanDojo решено на 82 теоремы больше. На бенчмарке Lean Workbook доля решённых задач почти удвоилась. Регрессий не было.

Практический критерий: ремонт даёт выигрыш по доле решённых задач в проверенных бюджетах K; за их пределы оценка не выходит.

Где ремонт помогает и где нет

Прирост почти полностью связан с неглубокими сбоями выполнения тактик. Прирост почти не связан со структурными ошибками, такими как несоответствие типов.

Тип сбояСвязь с приростом
Неглубокий сбой выполнения тактикиОсновной источник прироста
Структурная ошибка, например несоответствие типовПрирост почти не связан

Практический критерий: ремонт ориентирован на неглубокие сбои исполнения тактик, а не на структурные ошибки.

Часто задаваемые вопросы

Похожие материалы

Все материалы
Метод Genesis Steering: активационное управление на данных, использованных при дообучении
Новости

Метод Genesis Steering: активационное управление на данных, использованных при дообучении

Метод выводит вектор управления из контрастных примеров, присутствовавших в данных дообучения, а при их недоступности отбирает вероятные обучающие образцы через membership inference и формирует прокси-набор. Теоретическая часть описывает оптимальное смещение к границе решения и оценку по прокси-данным; эмпирически внутренние данные Tülu-3-8B дают более выраженный эффект, чем внешние наборы, тогда как полезность MIA-прокси на Llama-3.1-8B-Instruct ограничена соотношением сдвигов направления.

16 ноября 2026
Табличное обучение в контексте на разреженных экспертах: компактная OrionMoE-Small-v1.0
Новости

Табличное обучение в контексте на разреженных экспертах: компактная OrionMoE-Small-v1.0

Представлена компактная базовая модель для табличных задач, предсказывающая новые наблюдения по размеченной опорной таблице без дообучения параметров. Адаптивный выбор экспертов с учётом набора данных и признаковых представлений даёт конкурентоспособные результаты, особенно при малом контексте и высокой размерности.

15 ноября 2026
Локальный поиск ковариатных сдвигов для профилей с ненадёжными прогнозами
Новости

Локальный поиск ковариатных сдвигов для профилей с ненадёжными прогнозами

Статья описывает диагностический конвейер, который сначала выделяет интерпретируемые группы пациентов с пониженной уверенностью модели, а затем проверяет внутри этих групп наличие вредного ковариатного сдвига. В экспериментах на MIMIC-IV с тремя клиническими задачами и тремя искусственными подгрупповыми сдвигами подход помог локализовать возрастной сдвиг, слабо заметный при агрегированной оценке.

15 ноября 2026
Ограниченный ремонт тактик в Lean 4: диагностика компилятора