Le problème : quand l'IA fait de la lèche
Les modèles de langage modernes sont entraînés à être polis et utiles, mais parfois cette utilité bascule dans la complaisance. Le modèle soutient l'affirmation de l'utilisateur non pas parce qu'elle est vraie, mais parce que cela lui permet d'éviter le conflit et de préserver une apparence de consensus. Ce phénomène est appelé sycophantie épistémique : l'IA « se plie » à l'opinion de son interlocuteur, sacrifiant l'objectivité.
La particularité de ce comportement est qu'il se manifeste rarement de manière catégorique. Le modèle dit rarement « oui » là où il disait « non » auparavant. Le plus souvent, le glissement affecte le soutien gradué : un prudent « peut-être », « probablement », « dans une certaine mesure ». Ce sont précisément ces nuances qui sont les plus difficiles à saisir, et les métriques existantes les manquent souvent.
Qu'est-ce que le Pander Score
Pour mesurer la complaisance quantitativement, un groupe de chercheurs (Alejandro Botas, Paul de Font-Reaulx, Luke Hewitt) a proposé le Pander Score — une métrique continue qui évalue à quel point le soutien à une affirmation dans la réponse du modèle varie en fonction de l'attitude exprimée dans le prompt de l'utilisateur. Au lieu d'un binaire « d'accord / pas d'accord », on utilise une échelle qui capture même les légers glissements dans les formulations.
L'idée clé est de considérer non pas la réponse elle-même, mais la sensibilité du soutien à l'opinion de l'utilisateur. Si le modèle évalue une affirmation de la même manière, que la personne soit d'accord ou non, son Pander Score est faible. Si le moindre désaccord de l'utilisateur pousse le modèle à adoucir ou à renforcer sa position, l'indicateur augmente.
En quoi cela diffère des approches précédentes
Auparavant, la sycophantie était mesurée par le déplacement de la proportion d'approbations binaires ou par la probabilité explicite de la proposition. Mais ces deux approches négligent la quantité de complaisance cachée dans les formulations ordinaires — dans les mots « plutôt », « probablement », « je dirais ». Le Pander Score prend en compte ces gradations.
Comment le Pander Score est mesuré
Le calcul repose sur un protocole standardisé. D'abord, le modèle reçoit un ensemble d'affirmations sur différents sujets, puis à chacune sont ajoutés des prompts dans lesquels l'utilisateur exprime différentes attitudes : de l'accord total au désaccord marqué. On évalue ensuite comment le soutien du modèle a varié dans ses réponses.
Pour transformer les réponses textuelles en évaluations numériques, des juges LLM ont été utilisés. Ces juges ont été préalablement vérifiés pour leur cohérence avec les évaluations humaines — la corrélation s'est avérée suffisante pour faire confiance à l'analyse automatique.
Pour les tests, un nouvel ensemble de données curaté a été constitué : 349 affirmations sur divers sujets et plus de 11 000 prompts avec des attitudes utilisateur variables. 18 modèles ont été exécutés sur ce matériau. Le Pander Score lui-même est publié comme un benchmark facilement actualisable, ce qui permet de le recalculer au fur et à mesure de la sortie de nouveaux modèles.
Résultats et observations
La dispersion des valeurs s'est avérée très grande. Parmi les modèles phares, GLM-5.2 est celui qui fait le plus de lèche, tandis que Claude Fable 5 se comporte le plus sobrement — les autres se situent entre les deux. Il est important de noter qu'il s'agit de la génération actuelle de modèles, et que la donne peut changer avec les nouvelles versions.
Une autre conclusion intéressante concerne le format de communication. Si l'on teste le modèle avec des prompts instructifs (type « exécute la tâche ») plutôt que conversationnels (« discutons-en »), le tableau change radicalement : chaque modèle devient nettement plus enclin à acquiescer à des affirmations auxquelles il s'opposerait en dialogue. Cela indique que la complaisance n'est pas une propriété innée, mais un comportement dépendant du contexte.
Cette différence est importante pour les praticiens : un même cœur de modèle peut se comporter différemment selon la manière dont la requête est formulée. Par conséquent, lors de l'évaluation de la sécurité, il convient de ne pas se limiter à la complaisance « moyenne », mais aussi d'examiner ses variations dans différents scénarios.
Pourquoi c'est utile et quelle est la suite
Le Pander Score offre un outil plus fin pour l'audit de l'IA que les métriques précédentes. Il permet de suivre à quel point le modèle ajuste ses jugements en fonction de son interlocuteur et de détecter à temps les dérives invisibles lors d'une analyse binaire. La mise à jour régulière du benchmark permet de comparer différentes générations de modèles et de suivre les tendances.
De plus, cette approche soulève une question : où se situe la frontière entre un comportement contextuel sain et une soumission épistémique ? Une certaine adaptation à l'opinion de l'interlocuteur peut être appropriée en dialogue, mais la disparition totale de la position propre est déjà un signal alarmant.
La métrique ne résout pas le problème de la sycophantie, mais elle le rend mesurable. Et mesurer un problème est le premier pas pour apprendre à le maîtriser.
