¿Por qué no deberías tomar las valoraciones de preferencias de los LLM al pie de la letra
Los modelos de lenguaje modernos son capaces de razonar de forma convincente sobre una gran variedad de temas, por lo que cada vez se utilizan más como «expertos» para evaluar las preferencias de los consumidores. Por ejemplo, se pregunta a ChatGPT cuánto está dispuesta a pagar una persona por un vuelo con equipaje o lo importante que es para ella la cercanía al metro. La idea resulta atractiva: si el modelo conoce suficientemente bien los gustos humanos, a partir de sus respuestas se podrían seleccionar automáticamente productos, precios y servicios. Pero, ¿cómo comprobar que estas valoraciones reflejan realmente preferencias estables y no palabras al azar?
Un grupo de investigadores decidió ponerlo a prueba desde un punto de vista científico. En lugar de limitarse a comprobar si las respuestas parecen lógicas a simple vista, se plantearon una pregunta más rigurosa: ¿es posible describir las respuestas del modelo mediante una única función de utilidad? La función de utilidad es una forma matemática de ordenar las preferencias: si existe, todas las respuestas deben ser coherentes entre sí. Por ejemplo, si dices que estás dispuesto a pagar 500 rublos más por una hora adicional de reducción del trayecto y luego eliges una opción que es más lenta y además más cara, eso ya es una contradicción.
Metodología: cómo medir la inconsistencia
Los autores desarrollaron pruebas estadísticas que permiten cuantificar en qué medida las respuestas del modelo se desvían de la función de utilidad mejor ajustada. Si las desviaciones son pequeñas, significa que el modelo es casi coherente en sus preferencias. Si son grandes, significa que los juicios son aleatorios o situacionales y no pueden reducirse a una escala única.
Los experimentos se realizaron en tres tipos de escenarios: elección de vuelo, alquiler de apartamento y reserva de hotel. Son casos prácticos en los que la evaluación de la disposición a pagar es especialmente importante para las empresas. En las pruebas participaron seis modelos de lenguaje grandes diferentes, lo que hace que la muestra sea aún más representativa.
Resultados: contradicciones por todas partes
Resultó que los seis modelos ofrecen respuestas sistemáticamente contradictorias. Es decir, si se les plantean preguntas similares con formulaciones diferentes, es muy probable que elijan opciones que no encajan entre sí. Por ejemplo, el modelo podía indicar que la presencia de aparcamiento era extremadamente importante para él, pero al comparar dos apartamentos concretos se negaba a pagar más por ello, aunque antes había declarado su disposición a hacerlo.
Estas discrepancias son difíciles de explicar por el margen de error. Los investigadores subrayan que se trata más bien de una propiedad sistémica: los grandes modelos de lenguaje no tienen «gustos» fijos, sino que generan cada respuesta de nuevo, basándose en el contexto y en patrones probabilísticos. Por lo tanto, pueden utilizarse para ideas preliminares, pero no para modelar con precisión las preferencias individuales.
Por qué esto es importante para la práctica
Los resultados obtenidos afectan directamente a varias ideas populares. En economía conductual y marketing se habla cada vez más de utilizar los LLM para la personalización automática: supongamos que el modelo ha aprendido las preferencias del usuario a partir de sus consultas y ahora puede seleccionar ofertas óptimas. Pero si los juicios del propio modelo son internamente contradictorios, cualquier algoritmo de optimización basado en ellos fallará.
Además, este problema afecta también a las propias metodologías de investigación. Si un investigador utiliza un LLM para evaluar la utilidad en encuestas, primero tendrá que asegurarse de que el modelo no da respuestas aleatorias. De lo contrario, los resultados de dicha investigación no serán fiables.
La buena noticia es que los autores no solo señalaron el problema, sino que también propusieron herramientas para diagnosticarlo: pruebas e indicadores de desviación. Ya se pueden utilizar para comprobar nuevos modelos o para mejorar los existentes. Quizás con el tiempo aparezcan métodos de entrenamiento específicos que aumenten la autoconsistencia de los juicios. Pero por ahora es prematuro confiar en los LLM como fuente fiable de información sobre lo que la gente realmente quiere.
