Pourquoi il ne faut pas prendre les jugements des LLM sur les préférences pour argent comptant
Les modèles de langage modernes savent raisonner de manière convaincante sur toutes sortes de sujets, c'est pourquoi on les sollicite de plus en plus comme « experts » pour évaluer les préférences des consommateurs. Par exemple, on demande à ChatGPT combien une personne est prête à payer pour un vol avec bagages ou à quel point la proximité du métro est importante pour elle. L'idée est séduisante : si le modèle connaît suffisamment bien les goûts humains, on peut, à partir de ses réponses, sélectionner automatiquement des produits, des prix et des services. Mais comment vérifier que ces évaluations reflètent réellement des préférences stables, et non des paroles au hasard ?
Un groupe de chercheurs a décidé de vérifier cela d'un point de vue scientifique. Plutôt que de simplement regarder si les réponses semblent logiques à première vue, ils se sont posé une question plus rigoureuse : peut-on, d'une manière générale, décrire les réponses du modèle par une fonction d'utilité unique ? La fonction d'utilité est une manière mathématique d'ordonner les préférences : si elle existe, alors toutes les réponses doivent être cohérentes entre elles. Par exemple, si vous dites que vous êtes prêt à payer 500 roubles de plus pour gagner une heure de trajet, puis que vous choisissez une option plus longue et plus chère, c'est déjà une contradiction.
Méthodologie : comment mesurer l'incohérence
Les auteurs ont développé des tests statistiques qui permettent de quantifier à quel point les réponses du modèle s'écartent de la fonction d'utilité la mieux ajustée. Si les écarts sont faibles, le modèle est presque cohérent dans ses préférences. S'ils sont importants, les jugements sont aléatoires ou situationnels, et on ne peut pas les réduire à une échelle unique.
Les expériences ont été menées sur trois types de scénarios : le choix d'un vol aérien, la location d'un appartement et la réservation d'un hôtel. Ce sont des cas pratiques où l'évaluation de la disposition à payer est particulièrement importante pour les entreprises. Six grands modèles de langage différents ont participé aux tests — ce qui rend l'échantillon d'autant plus représentatif.
Résultats : des contradictions partout
Il s'est avéré que les six modèles donnent des réponses systématiquement contradictoires. Autrement dit, si on leur pose des questions similaires sous des formulations différentes, ils choisiront très probablement des options qui ne vont pas ensemble. Par exemple, un modèle pouvait indiquer que la présence d'un parking était extrêmement importante pour lui, mais, en comparant deux appartements précis, refuser de payer un supplément pour celui-ci, alors qu'il avait auparavant déclaré être prêt à le faire.
De tels écarts sont difficiles à expliquer par une simple marge d'erreur. Les chercheurs soulignent qu'il s'agit plutôt d'une propriété systémique : les grands modèles de langage n'ont pas de « goûts » fixes ; chaque réponse est générée à nouveau, en fonction du contexte et de régularités probabilistes. On peut donc les utiliser pour des idées préliminaires, mais pas pour modéliser avec précision des préférences individuelles.
Pourquoi c'est important pour la pratique
Les résultats obtenus touchent directement plusieurs idées populaires. En économie comportementale et en marketing, on parle de plus en plus d'utiliser les LLM pour une personnalisation automatique : supposons que le modèle ait appris les préférences d'un utilisateur à partir de ses requêtes et puisse désormais sélectionner des offres optimales. Mais si les jugements du modèle lui-même sont intérieurement contradictoires, alors tous les algorithmes d'optimisation qui s'appuient sur eux échoueront.
De plus, ce problème concerne aussi les méthodologies de recherche elles-mêmes. Si un chercheur utilise un LLM pour évaluer l'utilité dans des enquêtes, il devra d'abord s'assurer que le modèle ne donne pas de réponses aléatoires. Sinon, les résultats d'une telle étude s'avéreront peu fiables.
La bonne nouvelle, c'est que les auteurs ne se sont pas contentés de signaler le problème : ils ont aussi proposé des outils pour le diagnostiquer — des tests et des indicateurs d'écart. On peut déjà les utiliser pour vérifier de nouveaux modèles ou pour améliorer ceux qui existent. Peut-être qu'avec le temps apparaîtront des méthodes d'apprentissage spéciales qui renforceront l'autocohérence des jugements. Mais pour l'instant, il est trop tôt pour compter sur les LLM comme source fiable d'informations sur ce que veulent réellement les gens.
