CARAT: testam se os LLMs de ciência dos materiais geram estruturas ou parafraseiam o prompt

Porque a precisão não prova raciocínio

Um modelo de linguagem para ciência dos materiais pode dar a resposta correta por duas razões diferentes. Ou a deduz a partir de dados estruturais, ou reproduz um valor já presente na entrada. A métrica habitual de precisão não distingue estes casos. Uma descrição estrutural pode conter um campo usado para avaliar a resposta, fazendo com que a pontuação reflita a leitura de uma pista.

O benchmark CARAT foi criado em torno desta distinção. Avalia se os LLM de ciência dos materiais raciocinam com base em dados estruturais ou se repetem a pista. Os autores do artigo são Jiajun Wu, Jian Yang, Zixiang Ni, Zhenzhu Li e Bin Chong; o trabalho foi submetido a 29 de setembro de 2026.

Critério prático: uma elevada precisão em dados estruturais, por si só, não prova nada. É preciso analisar as condições em que a resposta foi obtida.

Como funciona a comparação controlada

A pergunta e a resposta de referência permanecem inalteradas nas oito representações comparadas. As relações estruturais são indicadas separadamente, em GraphSpace.

A isto juntam-se o ajuste fino controlado, a ocultação das respostas, a adição de evidências, a inferência emparelhada e uma regra que permite abster-se de fazer uma afirmação.

Manter a pergunta fixa elimina a explicação baseada na formulação da tarefa. A ocultação das respostas impede que o modelo simplesmente indique um valor já fornecido.

Conclusão: só faz sentido comparar representações quando a pergunta e a referência permanecem inalteradas. Caso contrário, a diferença indicará a qualidade do texto da tarefa, não o trabalho com a estrutura.

Qual é a diferença entre GraphSpace e um grafo simples

GraphSpace supera um grafo periódico simples em 19.3 pontos. Esta diferença resulta de dois efeitos distintos.

Quando a representação de base é suficiente para responder, a vantagem quase desaparece. Quando os campos necessários não estão presentes, a diferença torna-se grande. Os autores observam que o resultado principal da comparação reflete a falta de dados na representação de base, e não a forma como as evidências são representadas.

Critério prático: antes de concluir que uma representação é superior, verifique que campos contém. Caso contrário, está a medir a completude dos dados, não o método.

Atalhos e reformulação do benchmark

A avaliação revelou um ponto fraco do conjunto de tarefas. Uma regra que ignora a referência e lê diretamente a lista responde a quatro das sete famílias de tarefas mais difíceis. O modelo pode não compreender a relação e simplesmente contorná-la.

O benchmark foi reformulado. Onze destes atalhos passaram a produzir resultados próximos do acaso.

Conclusão: um conjunto de tarefas só serve para avaliar o raciocínio depois de ser verificado quanto a possíveis atalhos. Se uma regra simples resolver algumas famílias, o que está a ser avaliado não é o raciocínio.

A referência na resposta e o uso da relação

O modelo congelado cita uma referência, mas dá a mesma resposta em 95.6% dos casos emparelhados quando essa referência é redirecionada. O modelo repete a relação, sem a utilizar.

Após o treino controlado, o valor chega a 99.8%. A remoção da referência reduz o valor para 23.4%, abaixo dos 27.0% obtidos com o melhor atalho. Os autores concluem que ambos os passos de treino — usar a relação e apoiar-se na referência — podem ser aprendidos.

Critério: citar uma referência não é o mesmo que utilizá-la. É preciso verificar o comportamento do modelo quando a referência é redirecionada e quando é removida.

O que isto significa para a avaliação de ferramentas

• Verifique se a entrada contém a resposta pronta à pergunta.
• Analise os resultados quando a referência é redirecionada e removida, não apenas quando é citada.
• Exija uma descrição dos controlos: pergunta e referência inalteradas, e várias representações.
• Confirme se o conjunto de tarefas foi atualizado após a verificação de possíveis atalhos.
• Avalie a diferença alegada em conjunto com a composição dos dados, e não como um número isolado.

Critério de escolha: um resultado merece confiança se não puder ser explicado pela presença do campo necessário na pista ou pela ação de uma regra simples de contorno.