MathAdv: что скрывает итоговая точность машинных доказательств

9 ноября 202614 просмотров

Диагностический набор задач по 13 университетским и аспирантским разделам математики оценивает системы машинного доказательства в Lean 4 не только по итоговому результату, но и по владению предметом, качеству неформальных рассуждений и устойчивости к переформулировкам условий. Покомпонентный разбор показывает, что перевод задачи в формальный вид по-прежнему остаётся главным препятствием, а успех сильно зависит от области математики и от способа постановки задачи.

MathAdv: что скрывает итоговая точность машинных доказательств

Что именно измеряет бенчмарк

MathAdv — диагностический бенчмарк для оценки систем доказательства теорем. Он охватывает 13 областей математики университетского и аспирантского уровня. Бенчмарк проверяет доказательство теорем в Lean 4 и до трёх вспомогательных задач.

КомпонентЧто проверяет
Доказательство теорем в Lean 4Способность системы построить формальное доказательство
Вопросы с выбором ответаМатематические знания
Задания с заполнением пропусковНеформальное рассуждение
Экспертные преобразования формулировокУстойчивость к способу представления задачи

Сводная точность доказательства теорем не показывает, на каком этапе система теряет результат. Покомпонентная оценка разделяет знание, неформальное рассуждение, формализацию и устойчивость. Практический критерий: смотреть на результаты по компонентам, а не только на итоговую цифру.

Что итоговая точность не показывает об условиях задачи

Сводная точность скрывает реакцию системы на подсказки и переформулировки. Один показатель не разделяет эти условия. Таблица показывает, какие эффекты теряются в общем числе.

УсловиеНаблюдениеЧто проверять
Подсказки на естественном языкеПомогают универсальным большим языковым моделям, могут мешать специализированным моделямРезультат с подсказками и без них
Эквивалентные переформулировкиВыявляют существенные ограничения устойчивостиРезультат на преобразованных формулировках

Подсказки на естественном языке помогают универсальным большим языковым моделям. Тем же подсказкам могут мешать модели, специализированные на доказательствах. Математически эквивалентные переформулировки выявляют существенные ограничения устойчивости.

Итоговая точность не отделяет эти эффекты от общего результата доказательства. Один показатель не показывает, где подсказка помогает, а где мешает. Практический критерий: оценивать чувствительность к подсказкам и устойчивость к переформулировкам отдельно.

Формализация и различия между областями математики

Формализация остаётся серьёзным узким местом. Результаты систем существенно различаются в разных областях математики. Бенчмарк покрывает области математики университетского и аспирантского уровня. Проверка в Lean 4 отделяет формальное доказательство от вспомогательных задач.

НаблюдениеЧто оно означает для оценки
Формализация — узкое местоИтоговая точность может ограничиваться переводом задачи в формальную среду
Различия по областямСводный результат скрывает различия между областями

Практический критерий: сравнивать системы по областям математики и по этапу формализации. Один общий показатель не показывает, где именно система теряет доказательство.

Как применять бенчмарк при выборе системы

Покомпонентная оценка обнаруживает возможности моделей и причины их неудач. Датасет и скрипты оценки доступны по ссылке на странице статьи. Первую версию статьи подали 26 Aug 2026; последняя указанная версия — v3 от 19 Oct 2026.

Критерии проверки:

  • разбивка результатов по областям математики;
  • отдельный результат формализации в Lean 4;
  • сравнение работы с подсказками на естественном языке и без них;
  • проверка на математически эквивалентных переформулировках;
  • версия и дата статьи с описанием оценки.

Такой набор критериев показывает то, что скрывает сводная точность. Практический критерий выбора: сопоставлять профиль компонентов, а не только итоговую точность.

Часто задаваемые вопросы

Похожие материалы

Все материалы
AffordanceWAM: аффордансы как посредник между прогнозом сцены и управлением манипулятором
Исследования

AffordanceWAM: аффордансы как посредник между прогнозом сцены и управлением манипулятором

Работа описывает генеративную модель, которая одновременно прогнозирует будущие RGB-наблюдения, скалярные поля и тепловые карты аффордансов и непрерывные команды робота, используя человеческие видео для расширения разнообразия взаимодействий без аннотаций действий и ретаргетинга. На RoboCasa, CALVIN ABC→D и реальных задачах подход даёт устойчивый выигрыш относительно базовых линий только на RGB и только на роботных данных.

9 ноября 2026
Правка презентаций как управляемые операции: фреймворк EditPPT и бенчмарк DeckEdit-Bench
Новости

Правка презентаций как управляемые операции: фреймворк EditPPT и бенчмарк DeckEdit-Bench

Авторы разбирают редактирование слайдов на конкретные объекты, допустимые действия и проверку того, что постороннее содержимое осталось нетронутым, вместо свободной генерации кода. Для замера качества создан DeckEdit-Bench (183 задачи на 28 человеческих презентациях), а мультиагентная схема EditPPT на пяти базовых моделях показывает успех в 66,7–74,9% задач при сохранности выше 97%.

8 ноября 2026
Неевклидова геометрия факторов: карта FactoMap для разделения представлений
Новости

Неевклидова геометрия факторов: карта FactoMap для разделения представлений

Предложен способ описывать пространство факторов через области, отождествления, задаваемые генератором, и локальные масштабы, что позволяет различать топологически близкие случаи с неодинаковой геометрией. Метод FactoMap обучает интерпретируемые прототипы на структурированной решётке и в экспериментах демонстрирует более устойчивое сохранение непрерывности факторов и их разделения.

8 ноября 2026
MathAdv: бенчмарк машинного доказательства теорем в Lean 4