MathAdv: o que esconde a precisão final das provas geradas por máquina

9 novembro 202614 visualizações

Um conjunto de tarefas de diagnóstico em 13 áreas da matemática de nível universitário e de pós-graduação avalia sistemas de demonstração automática em Lean 4 não só pelo resultado final, mas também pelo domínio da matéria, pela qualidade do raciocínio informal e pela robustez perante reformulações das condições. A análise por componente mostra que traduzir um problema para uma forma formal continua a ser o principal obstáculo, e que o sucesso depende muito da área da matemática e da forma como o problema é formulado.

MathAdv: o que esconde a precisão final das provas geradas por máquina

O que mede exatamente o benchmark

MathAdv é um benchmark de diagnóstico para avaliar sistemas de demonstração de teoremas. Abrange 13 áreas da matemática de nível universitário e de pós-graduação. O benchmark avalia a demonstração de teoremas em Lean 4 e até três tarefas auxiliares.

ComponenteO que avalia
Demonstração de teoremas em Lean 4Capacidade do sistema para construir uma demonstração formal
Perguntas de escolha múltiplaConhecimentos matemáticos
Tarefas de preenchimento de lacunasRaciocínio informal
Reformulações feitas por especialistasRobustez à forma como o problema é apresentado

A precisão agregada na demonstração de teoremas não mostra em que fase o sistema perde o resultado. A avaliação por componente separa o conhecimento, o raciocínio informal, a formalização e a robustez. Critério prático: analisar os resultados por componente, e não apenas o valor final.

O que a precisão final não revela sobre as condições do problema

A precisão agregada oculta a reação do sistema a sugestões e reformulações. Um único indicador não distingue estas condições. A tabela mostra que efeitos se perdem no resultado geral.

CondiçãoObservaçãoO que verificar
Sugestões em linguagem naturalAjudam os grandes modelos de linguagem de uso geral, mas podem prejudicar os modelos especializadosResultado com e sem sugestões
Reformulações equivalentesRevelam limitações substanciais de robustezResultado com formulações transformadas

As sugestões em linguagem natural ajudam os grandes modelos de linguagem de uso geral. As mesmas sugestões podem prejudicar os modelos especializados em demonstrações. As reformulações matematicamente equivalentes revelam limitações substanciais de robustez.

A precisão final não separa estes efeitos do resultado geral da demonstração. Um único indicador não mostra em que casos uma sugestão ajuda e em quais prejudica. Critério prático: avaliar separadamente a sensibilidade a sugestões e a robustez a reformulações.

Formalização e diferenças entre áreas da matemática

A formalização continua a ser um grande obstáculo. Os resultados dos sistemas variam significativamente entre as diferentes áreas da matemática. O benchmark abrange áreas da matemática de nível universitário e de pós-graduação. A avaliação em Lean 4 distingue a demonstração formal das tarefas auxiliares.

ObservaçãoO que significa para a avaliação
A formalização é um obstáculoA precisão final pode ser limitada pela tradução do problema para um ambiente formal
Diferenças entre áreasO resultado agregado oculta as diferenças entre áreas

Critério prático: comparar os sistemas por área da matemática e pela fase de formalização. Um único indicador geral não mostra exatamente em que ponto o sistema perde a demonstração.

Como usar o benchmark na escolha de um sistema

A avaliação por componente revela as capacidades dos modelos e as causas das suas falhas. O conjunto de dados e os scripts de avaliação estão disponíveis através do link na página do artigo. A primeira versão do artigo foi submetida em 26 de agosto de 2026; a última versão indicada é a v3, de 19 de outubro de 2026.

Critérios de avaliação:

  • resultados discriminados por área da matemática;
  • resultado separado da formalização em Lean 4;
  • comparação do desempenho com e sem sugestões em linguagem natural;
  • avaliação com reformulações matematicamente equivalentes;
  • versão e data do artigo com a descrição da avaliação.

Este conjunto de critérios revela o que a precisão agregada oculta. Critério prático de escolha: comparar o perfil dos componentes, e não apenas a precisão final.

Perguntas mais frequentes

Materiais semelhantes

Todos os materiais
AffordanceWAM: affordances como intermediárias entre a previsão da cena e o controlo do manipulador
Investigação

AffordanceWAM: affordances como intermediárias entre a previsão da cena e o controlo do manipulador

O trabalho descreve um modelo generativo que prevê simultaneamente observações RGB futuras, campos escalares, mapas de calor de affordances e comandos contínuos para o robô, usando vídeos humanos para ampliar a diversidade das interações sem anotações de ações nem retargeting. No RoboCasa, no CALVIN ABC→D e em tarefas reais, a abordagem apresenta ganhos consistentes em relação às linhas de base que usam apenas RGB e apenas dados robóticos.

9 novembro 2026
Edição de apresentações como operações controláveis: framework EditPPT e benchmark DeckEdit-Bench
Notícias

Edição de apresentações como operações controláveis: framework EditPPT e benchmark DeckEdit-Bench

Os autores analisam a edição de slides em termos de objetos específicos, ações permitidas e verificação de que o conteúdo não relacionado permaneceu intacto, em vez de geração livre de código. Para avaliar a qualidade, foi criado o DeckEdit-Bench (183 tarefas em 28 apresentações feitas por pessoas), e o sistema multiagente EditPPT, baseado em cinco modelos-base, apresenta uma taxa de sucesso de 66,7–74,9% das tarefas, com preservação acima de 97%.

8 novembro 2026
Geometria não euclidiana de fatores: o mapa FactoMap para separar representações
Notícias

Geometria não euclidiana de fatores: o mapa FactoMap para separar representações

É proposta uma forma de descrever o espaço dos fatores por meio de regiões, identificações definidas pelo gerador e escalas locais, permitindo distinguir casos topologicamente próximos, mas com geometrias diferentes. O método FactoMap aprende protótipos interpretáveis numa grelha estruturada e, em experimentos, demonstra uma preservação mais robusta da continuidade e da separação dos fatores.

8 novembro 2026
MathAdv: o que esconde a precisão final das provas geradas por máquina