A resposta certa ainda não é um desenho técnico
Os grandes modelos de linguagem modernos resolvem com confiança problemas de matemática olímpica. Em geometria, isso é especialmente perceptível: o modelo fornece uma resposta numérica e parece que ele visualiza o enunciado. No entanto, há uma grande diferença entre saber resolver um problema e saber desenhar um diagrama correto. A resposta pode ser obtida por meio de transformações algébricas, mas o desenho exige considerar a posição relativa dos pontos, das linhas e das construções auxiliares. Por exemplo, o GPT e o Claude apresentam resultados elevados em testes matemáticos padrão, mas até recentemente não existia um teste que verificasse separadamente sua capacidade de criar desenhos.
Os autores do novo trabalho (pré-print arXiv:2608.18111, apresentado no workshop AI4MATH durante o ICML 2026) observam que os benchmarks existentes, incluindo os populares MathVista e MathVerse, avaliam principalmente a resposta final. Nenhum deles, segundo eles, isola a construção do diagrama como uma habilidade independente. Esse foi o ponto de partida para o novo conjunto de dados.
O que há dentro do benchmark
Os pesquisadores reuniram um conjunto aberto de 954 problemas de geometria olímpica. Cada problema é totalmente autossuficiente: seu enunciado não exige referências externas e permite uma interpretação inequívoca. Além disso, o conjunto inclui um subconjunto complexo de 297 problemas, para os quais é necessário um trabalho especialmente cuidadoso com o desenho.
Para cada problema, os autores prepararam uma solução de referência e um desenho de alta precisão, criado por humanos em código Asymptote. Esse formato permite renderizar o diagrama e compará-lo com o que o modelo gera.
Para avaliar o raciocínio diagramático, os desenvolvedores propõem vários tipos de métricas. Eles verificam o resultado por texto, por código, pela imagem final e também utilizam modelos de visão-linguagem e verificações específicas de restrições. Graças a isso, é possível ver não apenas se a figura foi renderizada, mas também o quanto ela corresponde às condições geométricas originais.
O que mostraram os primeiros testes
Os autores executaram vários modelos fundamentais no benchmark. Os resultados confirmaram a hipótese inicial: os modelos são visivelmente melhores em resolver problemas do que em criar diagramas para eles. A taxa média de compilação bem-sucedida dos desenhos gerados foi de apenas 36,14%. Isso significa que, na maioria dos casos, o modelo ou não consegue lidar com o código, ou constrói uma figura geometricamente incorreta.
Além disso, o baixo resultado não pode ser explicado apenas pela complexidade da linguagem Asymptote: para parte dos problemas, os modelos fornecem a resposta correta, mas não conseguem desenhar nem mesmo o enunciado aproximado. Parece que o pensamento espacial e o raciocínio matemático nos IAs modernos se desenvolvem de forma independente, e os métodos atuais de treinamento não os conectam entre si.
Por que isso é importante
Um desenho preciso é uma parte importante da geometria olímpica. Frequentemente, é a construção auxiliar — uma circunferência traçada, um segmento ou um ponto simétrico — que sugere a solução. Se o modelo não sabe construir esses elementos auxiliares, seu "sucesso" em geometria não pode ser considerado uma compreensão completa do problema.
O benchmark criado permite que os pesquisadores separem a habilidade de resolver da habilidade de visualizar. Este é o primeiro passo para que os desenvolvedores comecem a treinar modelos de forma direcionada para trabalhar com representações gráficas. Os dados abertos dos 954 problemas estão disponíveis no link no resumo, então qualquer pessoa interessada pode usar o novo teste.
A conclusão é simples: uma resposta correta não é garantia de um desenho correto. O novo conjunto de dados ajuda a ver isso claramente e, possivelmente, se tornará a base para um treinamento de IA mais "espacial".
