MathAdv : ce que cache la précision finale des preuves automatiques
Un ensemble de tâches diagnostiques couvrant 13 domaines des mathématiques universitaires et de troisième cycle évalue les systèmes de démonstration automatique dans Lean 4 non seulement sur le résultat final, mais aussi sur leur maîtrise des sujets, la qualité de leurs raisonnements informels et leur robustesse face aux reformulations des énoncés. L’analyse par composante montre que la formalisation des problèmes reste le principal obstacle et que la réussite dépend fortement du domaine mathématique et de la manière dont le problème est formulé.

Ce que mesure exactement le benchmark
MathAdv est un benchmark diagnostique destiné à évaluer les systèmes de preuve de théorèmes. Il couvre 13 domaines des mathématiques de niveau universitaire et troisième cycle. Le benchmark évalue la preuve de théorèmes dans Lean 4 et jusqu’à trois tâches auxiliaires.
| Composante | Ce qu’elle évalue |
|---|---|
| Preuve de théorèmes dans Lean 4 | Capacité du système à construire une preuve formelle |
| Questions à choix multiples | Connaissances mathématiques |
| Exercices à trous | Raisonnement informel |
| Reformulations expertes des énoncés | Robustesse face à la manière de présenter le problème |
La précision globale en preuve de théorèmes ne montre pas à quelle étape le système perd le fil. L’évaluation par composante distingue les connaissances, le raisonnement informel, la formalisation et la robustesse. Critère pratique : examiner les résultats par composante, et pas seulement le chiffre final.
Ce que la précision globale ne montre pas sur les conditions du problème
La précision globale masque la réaction du système aux indices et aux reformulations. Un seul indicateur ne permet pas de distinguer ces conditions. Le tableau montre quels effets se perdent dans le résultat global.
| Condition | Observation | Que vérifier |
|---|---|---|
| Indices en langage naturel | Ils aident les grands modèles de langage généralistes, mais peuvent gêner les modèles spécialisés | Résultat avec et sans indices |
| Reformulations équivalentes | Elles révèlent d’importantes limites de robustesse | Résultat sur les énoncés reformulés |
Les indices en langage naturel aident les grands modèles de langage généralistes. Ces mêmes indices peuvent gêner les modèles spécialisés dans la preuve. Les reformulations mathématiquement équivalentes révèlent d’importantes limites de robustesse.

La précision globale ne distingue pas ces effets du résultat général en preuve. Un seul indicateur ne montre pas où un indice aide et où il gêne. Critère pratique : évaluer séparément la sensibilité aux indices et la robustesse aux reformulations.
Formalisation et différences entre les domaines des mathématiques
La formalisation reste un obstacle majeur. Les résultats des systèmes varient considérablement selon les domaines des mathématiques. Le benchmark couvre des domaines des mathématiques de niveau universitaire et troisième cycle. L’évaluation dans Lean 4 distingue la preuve formelle des tâches auxiliaires.
| Observation | Ce que cela signifie pour l’évaluation |
|---|---|
| La formalisation est un obstacle | La précision globale peut être limitée par la traduction du problème dans un environnement formel |
| Différences selon les domaines | Le résultat global masque les différences entre les domaines |
Critère pratique : comparer les systèmes par domaine des mathématiques et par étape de formalisation. Un indicateur global ne montre pas à quel endroit le système perd la preuve.
Comment utiliser le benchmark pour choisir un système
L’évaluation par composante met en évidence les capacités des modèles et les causes de leurs échecs. Le jeu de données et les scripts d’évaluation sont accessibles via le lien sur la page de l’article. La première version de l’article a été soumise le 26 août 2026 ; la dernière version indiquée est la v3, datée du 19 octobre 2026.
Critères d’évaluation :
- ventilation des résultats par domaine des mathématiques ;
- résultat distinct pour la formalisation dans Lean 4 ;
- comparaison des performances avec et sans indices en langage naturel ;
- évaluation sur des reformulations mathématiquement équivalentes ;
- version et date de l’article décrivant l’évaluation.
Cet ensemble de critères montre ce que masque la précision globale. Critère pratique pour choisir : comparer le profil des composantes, et pas seulement la précision finale.
Foire aux questions
Matériaux connexes
Tous matériaux
AffordanceWAM : les affordances comme intermédiaire entre la prédiction de scène et le contrôle du manipulateur
Ce travail présente un modèle génératif qui prédit simultanément les futures observations RGB, les champs scalaires, les cartes thermiques d’affordances et les commandes continues du robot, en s’appuyant sur des vidéos humaines pour diversifier les interactions sans annotations d’actions ni retargeting. Sur RoboCasa, CALVIN ABC→D et des tâches réelles, cette approche offre des gains constants par rapport aux modèles de référence entraînés uniquement sur des données RGB ou robotiques.
9 novembre 2026
L’édition de présentations sous forme d’opérations contrôlables : le framework EditPPT et le benchmark DeckEdit-Bench
Les auteurs décomposent l’édition de diapositives en objets précis, en actions autorisées et en vérifications visant à s’assurer que le contenu non concerné reste intact, plutôt que de générer librement du code. Pour évaluer la qualité, ils ont créé DeckEdit-Bench (183 tâches sur 28 présentations créées par des humains) ; la méthode multi-agents EditPPT, testée avec cinq modèles de base, réussit 66,7 à 74,9 % des tâches, avec un taux de préservation supérieur à 97 %.
8 novembre 2026
Géométrie non euclidienne des facteurs : la carte FactoMap pour la séparation des représentations
Une méthode est proposée pour décrire l’espace des facteurs au moyen de régions, d’identifications définies par un générateur et d’échelles locales, ce qui permet de distinguer des cas topologiquement proches mais de géométrie différente. La méthode FactoMap apprend des prototypes interprétables sur un réseau structuré et démontre expérimentalement une préservation plus robuste de la continuité et de la séparation des facteurs.
8 novembre 2026