La bonne réponse n'est pas encore un dessin
Les grands modèles de langage modernes résolvent avec assurance les problèmes des mathématiques olympiques. En géométrie, cela est particulièrement visible : le modèle fournit une réponse numérique, et il semble qu'il se représente l'énoncé. Cependant, il existe une grande différence entre la capacité à résoudre un problème et celle à tracer un diagramme correct. La réponse peut être obtenue par des transformations algébriques, tandis que le dessin exige de prendre en compte la disposition mutuelle des points, des lignes et des constructions supplémentaires. Par exemple, GPT et Claude montrent de bons résultats dans les tests mathématiques standard, mais jusqu'à récemment, il n'existait aucun test qui vérifie séparément leur capacité à créer des dessins.
Les auteurs de la nouvelle étude (prépublication arXiv:2608.18111, présentée à l'atelier AI4MATH dans le cadre de l'ICML 2026) notent que les benchmarks existants, y compris les populaires MathVista et MathVerse, évaluent principalement la réponse finale. Aucun d'entre eux, selon eux, n'isole la construction du diagramme comme une compétence autonome. C'est ce qui a servi de point de départ au nouvel ensemble de données.
Ce que contient le benchmark
Les chercheurs ont rassemblé un ensemble ouvert de 954 problèmes de géométrie olympique. Chaque problème est entièrement autonome : son énoncé ne nécessite pas de références externes et permet une interprétation sans ambiguïté. De plus, l'ensemble comprend un sous-ensemble complexe de 297 problèmes pour lesquels un travail particulièrement minutieux sur le dessin est important.
Pour chaque problème, les auteurs ont préparé une solution de référence et un dessin de haute précision, créé par un humain en code Asymptote. Ce format permet de rendre le diagramme et de le comparer à ce que génère le modèle.
Pour évaluer le raisonnement diagrammatique, les développeurs proposent plusieurs types de métriques. Ils vérifient le résultat par le texte, par le code, par l'image finale, et font également appel à des modèles vision-langage et à des vérifications de contraintes distinctes. Grâce à cela, on peut voir non seulement si la figure a été rendue, mais aussi dans quelle mesure elle correspond aux conditions géométriques initiales.
Ce que les premiers tests ont montré
Les auteurs ont fait passer plusieurs modèles fondamentaux à travers le benchmark. Les résultats ont confirmé l'hypothèse initiale : les modèles résolvent nettement mieux les problèmes qu'ils ne créent les diagrammes correspondants. Le taux moyen de compilation réussie des dessins générés n'était que de 36,14 %. Cela signifie que dans la plupart des cas, le modèle soit ne gère pas le code, soit construit une figure géométriquement incorrecte.
De plus, ce faible résultat ne peut pas s'expliquer uniquement par la complexité du langage Asymptote : pour une partie des problèmes, les modèles donnent la bonne réponse, mais ne parviennent pas à dessiner ne serait-ce qu'une ébauche de l'énoncé. Il semble que la pensée spatiale et le raisonnement mathématique chez les IA modernes se développent indépendamment, et que les méthodes d'entraînement actuelles ne les relient pas entre eux.
Pourquoi c'est important
Un dessin précis est une partie importante de la géométrie olympique. Souvent, c'est précisément la construction supplémentaire — un cercle tracé, un segment ou un point symétrique — qui suggère la solution. Si le modèle ne sait pas construire de tels éléments auxiliaires, son « succès » en géométrie ne peut pas être considéré comme une compréhension complète du problème.
Le benchmark créé permet aux chercheurs de séparer la capacité à résoudre de la capacité à visualiser. C'est un premier pas vers un entraînement ciblé des modèles à travailler avec des représentations graphiques. Les données ouvertes des 954 problèmes sont disponibles via le lien dans l'annotation, afin que toute personne intéressée puisse utiliser ce nouveau test.
La conclusion est simple : une bonne réponse n'est pas une garantie d'un bon dessin. Le nouvel ensemble de données aide à le voir clairement et pourrait devenir la base d'un apprentissage de l'IA plus « spatial ».
