Los humanos son comprensibles, los LLM no: los expertos no pudieron explicar la lógica de los modelos
Cuando miramos los resultados de las pruebas, parece natural suponer que la inteligencia artificial resuelve tareas «como un humano»: utiliza los mismos conceptos, reglas y razonamientos. Sin embargo, una nueva investigación pone en duda esta suposición. Los científicos descubrieron que las estructuras ocultas que determinan las respuestas de los LLM, en la mayoría de los casos, no se prestan a la interpretación humana — incluso para expertos en la materia.
Qué se comprobó exactamente
Los autores del trabajo (arXiv:2608.17810) — Alona Strugatski, Likol Zeinfeld, Jason Cooper y sus colegas — tomaron las respuestas de personas y de seis LLM diferentes en tareas de razonamiento cuantitativo y química. Mediante un análisis factorial exploratorio, identificaron para cada grupo factores latentes ocultos que supuestamente están detrás del éxito en la realización de estas tareas.
Luego, expertos en la materia examinaron a ciegas las estructuras obtenidas e intentaron atribuir a los factores un significado pedagógico: por ejemplo, «habilidad para trabajar con fórmulas» o «comprensión de la estequiometría». El formato ciego excluía pistas: los especialistas no sabían si los gráficos correspondían a personas o a modelos.
Resultado: la brecha en la interpretabilidad
Los expertos comprendieron casi sin problemas los factores obtenidos a partir de las respuestas humanas. La mayoría de los constructos recibió una explicación significativa que fue fácil de traducir en recomendaciones para el aprendizaje o el diagnóstico.
Con los LLM, el panorama resultó diferente:
- En el razonamiento cuantitativo, los expertos no pudieron interpretar de manera significativa ninguno de los factores identificados para los modelos.
- En química, la situación fue un poco mejor, pero igualmente lejos de lo ideal: solo se logró explicar alrededor de la mitad de las estructuras.
Qué significa esto
Los autores llegan a una conclusión importante: cuando los LLM muestran resultados altos en las pruebas, esto no significa que razonen de la manera a la que estamos acostumbrados. Los modelos pueden encontrar formas estadísticamente eficientes, pero completamente «ajenas» para los humanos, de resolver tareas. Sus mecanismos internos funcionan a nivel de patrones que no tienen un significado pedagógico o cognitivo comprensible.
Esta observación desafía la práctica común de intentar sacar conclusiones sobre el nivel de conocimiento o competencias a partir de los resultados de la IA. Si no podemos explicar qué construcciones exactas están detrás de las respuestas, corremos el riesgo de atribuir a los modelos capacidades inexistentes — o, por el contrario, pasar por alto limitaciones reales.
Hacia dónde avanzar
La investigación no afirma que interpretar los LLM sea imposible en principio. Solo muestra que el enfoque clásico, creado para estudiar la cognición humana, no se traslada directamente a los modelos. Quizás sea necesario desarrollar métodos de análisis fundamentalmente nuevos — aquellos que tengan en cuenta la naturaleza «no humana» de las estructuras latentes.
Por ahora, queda abierta la pregunta: si los expertos no pueden explicar la lógica de los modelos, ¿podemos confiar en su uso en la educación y la evaluación del conocimiento? La respuesta, probablemente, requerirá revisar tanto los enfoques para evaluar la IA como nuestras expectativas sobre la «inteligencia» de las máquinas.
