MathAdv: что скрывает итоговая точность машинных доказательств
Диагностический набор задач по 13 университетским и аспирантским разделам математики оценивает системы машинного доказательства в Lean 4 не только по итоговому результату, но и по владению предметом, качеству неформальных рассуждений и устойчивости к переформулировкам условий. Покомпонентный разбор показывает, что перевод задачи в формальный вид по-прежнему остаётся главным препятствием, а успех сильно зависит от области математики и от способа постановки задачи.

Что именно измеряет бенчмарк
MathAdv — диагностический бенчмарк для оценки систем доказательства теорем. Он охватывает 13 областей математики университетского и аспирантского уровня. Бенчмарк проверяет доказательство теорем в Lean 4 и до трёх вспомогательных задач.
| Компонент | Что проверяет |
|---|---|
| Доказательство теорем в Lean 4 | Способность системы построить формальное доказательство |
| Вопросы с выбором ответа | Математические знания |
| Задания с заполнением пропусков | Неформальное рассуждение |
| Экспертные преобразования формулировок | Устойчивость к способу представления задачи |
Сводная точность доказательства теорем не показывает, на каком этапе система теряет результат. Покомпонентная оценка разделяет знание, неформальное рассуждение, формализацию и устойчивость. Практический критерий: смотреть на результаты по компонентам, а не только на итоговую цифру.
Что итоговая точность не показывает об условиях задачи
Сводная точность скрывает реакцию системы на подсказки и переформулировки. Один показатель не разделяет эти условия. Таблица показывает, какие эффекты теряются в общем числе.
| Условие | Наблюдение | Что проверять |
|---|---|---|
| Подсказки на естественном языке | Помогают универсальным большим языковым моделям, могут мешать специализированным моделям | Результат с подсказками и без них |
| Эквивалентные переформулировки | Выявляют существенные ограничения устойчивости | Результат на преобразованных формулировках |
Подсказки на естественном языке помогают универсальным большим языковым моделям. Тем же подсказкам могут мешать модели, специализированные на доказательствах. Математически эквивалентные переформулировки выявляют существенные ограничения устойчивости.

Итоговая точность не отделяет эти эффекты от общего результата доказательства. Один показатель не показывает, где подсказка помогает, а где мешает. Практический критерий: оценивать чувствительность к подсказкам и устойчивость к переформулировкам отдельно.
Формализация и различия между областями математики
Формализация остаётся серьёзным узким местом. Результаты систем существенно различаются в разных областях математики. Бенчмарк покрывает области математики университетского и аспирантского уровня. Проверка в Lean 4 отделяет формальное доказательство от вспомогательных задач.
| Наблюдение | Что оно означает для оценки |
|---|---|
| Формализация — узкое место | Итоговая точность может ограничиваться переводом задачи в формальную среду |
| Различия по областям | Сводный результат скрывает различия между областями |
Практический критерий: сравнивать системы по областям математики и по этапу формализации. Один общий показатель не показывает, где именно система теряет доказательство.
Как применять бенчмарк при выборе системы
Покомпонентная оценка обнаруживает возможности моделей и причины их неудач. Датасет и скрипты оценки доступны по ссылке на странице статьи. Первую версию статьи подали 26 Aug 2026; последняя указанная версия — v3 от 19 Oct 2026.
Критерии проверки:
- разбивка результатов по областям математики;
- отдельный результат формализации в Lean 4;
- сравнение работы с подсказками на естественном языке и без них;
- проверка на математически эквивалентных переформулировках;
- версия и дата статьи с описанием оценки.
Такой набор критериев показывает то, что скрывает сводная точность. Практический критерий выбора: сопоставлять профиль компонентов, а не только итоговую точность.
Часто задаваемые вопросы
Похожие материалы
Все материалы
AffordanceWAM: аффордансы как посредник между прогнозом сцены и управлением манипулятором
Работа описывает генеративную модель, которая одновременно прогнозирует будущие RGB-наблюдения, скалярные поля и тепловые карты аффордансов и непрерывные команды робота, используя человеческие видео для расширения разнообразия взаимодействий без аннотаций действий и ретаргетинга. На RoboCasa, CALVIN ABC→D и реальных задачах подход даёт устойчивый выигрыш относительно базовых линий только на RGB и только на роботных данных.
9 ноября 2026
Правка презентаций как управляемые операции: фреймворк EditPPT и бенчмарк DeckEdit-Bench
Авторы разбирают редактирование слайдов на конкретные объекты, допустимые действия и проверку того, что постороннее содержимое осталось нетронутым, вместо свободной генерации кода. Для замера качества создан DeckEdit-Bench (183 задачи на 28 человеческих презентациях), а мультиагентная схема EditPPT на пяти базовых моделях показывает успех в 66,7–74,9% задач при сохранности выше 97%.
8 ноября 2026
Неевклидова геометрия факторов: карта FactoMap для разделения представлений
Предложен способ описывать пространство факторов через области, отождествления, задаваемые генератором, и локальные масштабы, что позволяет различать топологически близкие случаи с неодинаковой геометрией. Метод FactoMap обучает интерпретируемые прототипы на структурированной решётке и в экспериментах демонстрирует более устойчивое сохранение непрерывности факторов и их разделения.
8 ноября 2026