MathAdv : ce que cache la précision finale des preuves automatiques

9 novembre 202614 vues

Un ensemble de tâches diagnostiques couvrant 13 domaines des mathématiques universitaires et de troisième cycle évalue les systèmes de démonstration automatique dans Lean 4 non seulement sur le résultat final, mais aussi sur leur maîtrise des sujets, la qualité de leurs raisonnements informels et leur robustesse face aux reformulations des énoncés. L’analyse par composante montre que la formalisation des problèmes reste le principal obstacle et que la réussite dépend fortement du domaine mathématique et de la manière dont le problème est formulé.

MathAdv : ce que cache la précision finale des preuves automatiques

Ce que mesure exactement le benchmark

MathAdv est un benchmark diagnostique destiné à évaluer les systèmes de preuve de théorèmes. Il couvre 13 domaines des mathématiques de niveau universitaire et troisième cycle. Le benchmark évalue la preuve de théorèmes dans Lean 4 et jusqu’à trois tâches auxiliaires.

ComposanteCe qu’elle évalue
Preuve de théorèmes dans Lean 4Capacité du système à construire une preuve formelle
Questions à choix multiplesConnaissances mathématiques
Exercices à trousRaisonnement informel
Reformulations expertes des énoncésRobustesse face à la manière de présenter le problème

La précision globale en preuve de théorèmes ne montre pas à quelle étape le système perd le fil. L’évaluation par composante distingue les connaissances, le raisonnement informel, la formalisation et la robustesse. Critère pratique : examiner les résultats par composante, et pas seulement le chiffre final.

Ce que la précision globale ne montre pas sur les conditions du problème

La précision globale masque la réaction du système aux indices et aux reformulations. Un seul indicateur ne permet pas de distinguer ces conditions. Le tableau montre quels effets se perdent dans le résultat global.

ConditionObservationQue vérifier
Indices en langage naturelIls aident les grands modèles de langage généralistes, mais peuvent gêner les modèles spécialisésRésultat avec et sans indices
Reformulations équivalentesElles révèlent d’importantes limites de robustesseRésultat sur les énoncés reformulés

Les indices en langage naturel aident les grands modèles de langage généralistes. Ces mêmes indices peuvent gêner les modèles spécialisés dans la preuve. Les reformulations mathématiquement équivalentes révèlent d’importantes limites de robustesse.

La précision globale ne distingue pas ces effets du résultat général en preuve. Un seul indicateur ne montre pas où un indice aide et où il gêne. Critère pratique : évaluer séparément la sensibilité aux indices et la robustesse aux reformulations.

Formalisation et différences entre les domaines des mathématiques

La formalisation reste un obstacle majeur. Les résultats des systèmes varient considérablement selon les domaines des mathématiques. Le benchmark couvre des domaines des mathématiques de niveau universitaire et troisième cycle. L’évaluation dans Lean 4 distingue la preuve formelle des tâches auxiliaires.

ObservationCe que cela signifie pour l’évaluation
La formalisation est un obstacleLa précision globale peut être limitée par la traduction du problème dans un environnement formel
Différences selon les domainesLe résultat global masque les différences entre les domaines

Critère pratique : comparer les systèmes par domaine des mathématiques et par étape de formalisation. Un indicateur global ne montre pas à quel endroit le système perd la preuve.

Comment utiliser le benchmark pour choisir un système

L’évaluation par composante met en évidence les capacités des modèles et les causes de leurs échecs. Le jeu de données et les scripts d’évaluation sont accessibles via le lien sur la page de l’article. La première version de l’article a été soumise le 26 août 2026 ; la dernière version indiquée est la v3, datée du 19 octobre 2026.

Critères d’évaluation :

  • ventilation des résultats par domaine des mathématiques ;
  • résultat distinct pour la formalisation dans Lean 4 ;
  • comparaison des performances avec et sans indices en langage naturel ;
  • évaluation sur des reformulations mathématiquement équivalentes ;
  • version et date de l’article décrivant l’évaluation.

Cet ensemble de critères montre ce que masque la précision globale. Critère pratique pour choisir : comparer le profil des composantes, et pas seulement la précision finale.

Foire aux questions

Matériaux connexes

Tous matériaux
AffordanceWAM : les affordances comme intermédiaire entre la prédiction de scène et le contrôle du manipulateur
Recherche

AffordanceWAM : les affordances comme intermédiaire entre la prédiction de scène et le contrôle du manipulateur

Ce travail présente un modèle génératif qui prédit simultanément les futures observations RGB, les champs scalaires, les cartes thermiques d’affordances et les commandes continues du robot, en s’appuyant sur des vidéos humaines pour diversifier les interactions sans annotations d’actions ni retargeting. Sur RoboCasa, CALVIN ABC→D et des tâches réelles, cette approche offre des gains constants par rapport aux modèles de référence entraînés uniquement sur des données RGB ou robotiques.

9 novembre 2026
L’édition de présentations sous forme d’opérations contrôlables : le framework EditPPT et le benchmark DeckEdit-Bench
Nouvelles

L’édition de présentations sous forme d’opérations contrôlables : le framework EditPPT et le benchmark DeckEdit-Bench

Les auteurs décomposent l’édition de diapositives en objets précis, en actions autorisées et en vérifications visant à s’assurer que le contenu non concerné reste intact, plutôt que de générer librement du code. Pour évaluer la qualité, ils ont créé DeckEdit-Bench (183 tâches sur 28 présentations créées par des humains) ; la méthode multi-agents EditPPT, testée avec cinq modèles de base, réussit 66,7 à 74,9 % des tâches, avec un taux de préservation supérieur à 97 %.

8 novembre 2026
Géométrie non euclidienne des facteurs : la carte FactoMap pour la séparation des représentations
Nouvelles

Géométrie non euclidienne des facteurs : la carte FactoMap pour la séparation des représentations

Une méthode est proposée pour décrire l’espace des facteurs au moyen de régions, d’identifications définies par un générateur et d’échelles locales, ce qui permet de distinguer des cas topologiquement proches mais de géométrie différente. La méthode FactoMap apprend des prototypes interprétables sur un réseau structuré et démontre expérimentalement une préservation plus robuste de la continuité et de la séparation des facteurs.

8 novembre 2026
MathAdv : ce que cache la précision finale des preuves automatiques