MathAdv: o que esconde a precisão final das provas geradas por máquina
Um conjunto de tarefas de diagnóstico em 13 áreas da matemática de nível universitário e de pós-graduação avalia sistemas de demonstração automática em Lean 4 não só pelo resultado final, mas também pelo domínio da matéria, pela qualidade do raciocínio informal e pela robustez perante reformulações das condições. A análise por componente mostra que traduzir um problema para uma forma formal continua a ser o principal obstáculo, e que o sucesso depende muito da área da matemática e da forma como o problema é formulado.

O que mede exatamente o benchmark
MathAdv é um benchmark de diagnóstico para avaliar sistemas de demonstração de teoremas. Abrange 13 áreas da matemática de nível universitário e de pós-graduação. O benchmark avalia a demonstração de teoremas em Lean 4 e até três tarefas auxiliares.
| Componente | O que avalia |
|---|---|
| Demonstração de teoremas em Lean 4 | Capacidade do sistema para construir uma demonstração formal |
| Perguntas de escolha múltipla | Conhecimentos matemáticos |
| Tarefas de preenchimento de lacunas | Raciocínio informal |
| Reformulações feitas por especialistas | Robustez à forma como o problema é apresentado |
A precisão agregada na demonstração de teoremas não mostra em que fase o sistema perde o resultado. A avaliação por componente separa o conhecimento, o raciocínio informal, a formalização e a robustez. Critério prático: analisar os resultados por componente, e não apenas o valor final.
O que a precisão final não revela sobre as condições do problema
A precisão agregada oculta a reação do sistema a sugestões e reformulações. Um único indicador não distingue estas condições. A tabela mostra que efeitos se perdem no resultado geral.
| Condição | Observação | O que verificar |
|---|---|---|
| Sugestões em linguagem natural | Ajudam os grandes modelos de linguagem de uso geral, mas podem prejudicar os modelos especializados | Resultado com e sem sugestões |
| Reformulações equivalentes | Revelam limitações substanciais de robustez | Resultado com formulações transformadas |
As sugestões em linguagem natural ajudam os grandes modelos de linguagem de uso geral. As mesmas sugestões podem prejudicar os modelos especializados em demonstrações. As reformulações matematicamente equivalentes revelam limitações substanciais de robustez.

A precisão final não separa estes efeitos do resultado geral da demonstração. Um único indicador não mostra em que casos uma sugestão ajuda e em quais prejudica. Critério prático: avaliar separadamente a sensibilidade a sugestões e a robustez a reformulações.
Formalização e diferenças entre áreas da matemática
A formalização continua a ser um grande obstáculo. Os resultados dos sistemas variam significativamente entre as diferentes áreas da matemática. O benchmark abrange áreas da matemática de nível universitário e de pós-graduação. A avaliação em Lean 4 distingue a demonstração formal das tarefas auxiliares.
| Observação | O que significa para a avaliação |
|---|---|
| A formalização é um obstáculo | A precisão final pode ser limitada pela tradução do problema para um ambiente formal |
| Diferenças entre áreas | O resultado agregado oculta as diferenças entre áreas |
Critério prático: comparar os sistemas por área da matemática e pela fase de formalização. Um único indicador geral não mostra exatamente em que ponto o sistema perde a demonstração.
Como usar o benchmark na escolha de um sistema
A avaliação por componente revela as capacidades dos modelos e as causas das suas falhas. O conjunto de dados e os scripts de avaliação estão disponíveis através do link na página do artigo. A primeira versão do artigo foi submetida em 26 de agosto de 2026; a última versão indicada é a v3, de 19 de outubro de 2026.
Critérios de avaliação:
- resultados discriminados por área da matemática;
- resultado separado da formalização em Lean 4;
- comparação do desempenho com e sem sugestões em linguagem natural;
- avaliação com reformulações matematicamente equivalentes;
- versão e data do artigo com a descrição da avaliação.
Este conjunto de critérios revela o que a precisão agregada oculta. Critério prático de escolha: comparar o perfil dos componentes, e não apenas a precisão final.
Perguntas mais frequentes
Materiais semelhantes
Todos os materiais
AffordanceWAM: affordances como intermediárias entre a previsão da cena e o controlo do manipulador
O trabalho descreve um modelo generativo que prevê simultaneamente observações RGB futuras, campos escalares, mapas de calor de affordances e comandos contínuos para o robô, usando vídeos humanos para ampliar a diversidade das interações sem anotações de ações nem retargeting. No RoboCasa, no CALVIN ABC→D e em tarefas reais, a abordagem apresenta ganhos consistentes em relação às linhas de base que usam apenas RGB e apenas dados robóticos.
9 novembro 2026
Edição de apresentações como operações controláveis: framework EditPPT e benchmark DeckEdit-Bench
Os autores analisam a edição de slides em termos de objetos específicos, ações permitidas e verificação de que o conteúdo não relacionado permaneceu intacto, em vez de geração livre de código. Para avaliar a qualidade, foi criado o DeckEdit-Bench (183 tarefas em 28 apresentações feitas por pessoas), e o sistema multiagente EditPPT, baseado em cinco modelos-base, apresenta uma taxa de sucesso de 66,7–74,9% das tarefas, com preservação acima de 97%.
8 novembro 2026
Geometria não euclidiana de fatores: o mapa FactoMap para separar representações
É proposta uma forma de descrever o espaço dos fatores por meio de regiões, identificações definidas pelo gerador e escalas locais, permitindo distinguir casos topologicamente próximos, mas com geometrias diferentes. O método FactoMap aprende protótipos interpretáveis numa grelha estruturada e, em experimentos, demonstra uma preservação mais robusta da continuidade e da separação dos fatores.
8 novembro 2026