Pessoas são compreensíveis, LLMs não: especialistas não conseguiram explicar a lógica dos modelos
Quando olhamos para os resultados dos testes, parece natural supor que a inteligência artificial resolve tarefas "como um humano": usando os mesmos conceitos, regras e raciocínios. No entanto, uma nova pesquisa coloca essa suposição em questão. Os cientistas descobriram que as estruturas ocultas que determinam as respostas das LLMs, na maioria dos casos, não são passíveis de interpretação humana — nem mesmo por especialistas da área.
O que exatamente foi testado
Os autores do trabalho (arXiv:2608.17810) — Alona Strugatski, Likol Zeinfeld, Jason Cooper e seus colegas — pegaram respostas de humanos e de seis LLMs diferentes em tarefas de raciocínio quantitativo e química. Usando análise fatorial exploratória, eles identificaram para cada grupo fatores latentes ocultos que supostamente estão por trás do sucesso na execução dessas tarefas.
Em seguida, especialistas no assunto estudaram as estruturas obtidas às cegas e tentaram atribuir aos fatores um significado pedagógico: por exemplo, "habilidade de trabalhar com fórmulas" ou "compreensão de estequiometria". O formato cego excluía pistas — os especialistas não sabiam se os gráficos se referiam a humanos ou a modelos.
Resultado: a lacuna na interpretabilidade
Os especialistas quase não tiveram problemas para entender os fatores obtidos com base nas respostas humanas. A maioria dos construtos recebeu uma explicação significativa, que foi facilmente traduzida em recomendações para ensino ou diagnóstico.
Com as LLMs, o cenário foi diferente:
- No raciocínio quantitativo, os especialistas não conseguiram interpretar de forma significativa nenhum dos fatores identificados para os modelos.
- Na química, a situação foi um pouco melhor, mas ainda longe do ideal: foi possível explicar apenas cerca de metade das estruturas.
O que isso significa
Os autores chegam a uma conclusão importante: quando as LLMs mostram resultados elevados em testes, isso não significa que elas raciocinam da maneira que estamos acostumados. Os modelos podem encontrar formas estatisticamente eficientes, mas completamente "estranhas" para os humanos, de resolver problemas. Seus mecanismos internos operam no nível de padrões que não carregam um significado pedagógico ou cognitivo compreensível.
Essa observação desafia a prática comum de tentar tirar conclusões sobre o nível de conhecimento ou competências com base nos resultados da IA. Se não conseguimos explicar quais construções exatamente estão por trás das respostas, corremos o risco de atribuir aos modelos habilidades inexistentes — ou, ao contrário, deixar passar limitações reais.
Para onde seguir
A pesquisa não afirma que interpretar LLMs seja impossível em princípio. Ela apenas mostra que a abordagem clássica, criada para estudar a cognição humana, não se transfere diretamente para os modelos. Talvez seja necessário desenvolver métodos de análise fundamentalmente novos — que levem em conta a natureza "não humana" das estruturas latentes.
Por enquanto, permanece em aberto a questão: se os especialistas não conseguem explicar a lógica dos modelos, podemos confiar no seu uso na educação e na avaliação de conhecimento? A resposta, provavelmente, exigirá uma revisão tanto das abordagens de verificação da IA quanto das nossas expectativas em relação à "inteligência" das máquinas.
