Les grands modèles de langage assument de plus en plus souvent les rôles d'interlocuteurs, d'assistants et d'« exécutants » automatiques. Plus nous leur confions de responsabilités, plus il est important de comprendre à l'avance le style d'action du modèle : où il a tendance à céder, où il insiste sur sa position, et où il se contente de produire une réponse plausible. En pratique, on tente souvent de mesurer la « personnalité » des LLM avec des questionnaires psychologiques classiques, comme le Big Five Inventory (BFI). Mais ce transfert de méthodologie, de l'humain au réseau de neurones, donne des résultats défaillants.
Pourquoi le BFI ne convient pas pour évaluer les LLM
L'approche BFI semble logique : chez l'humain, on mesure l'ouverture à l'expérience, la conscience, l'extraversion, l'agréabilité et le névrosisme — pourquoi ne pas soumettre le modèle aux mêmes échelles ? Le problème est que le BFI et les questionnaires analogues ont été conçus pour les humains et supposent une capacité d'auto-évaluation. Un réseau de neurones ne réfléchit pas sur lui-même comme le fait un humain : il sélectionne le texte le plus plausible en s'appuyant sur ses données d'entraînement. Par conséquent, le résultat dépend fortement de détails « aléatoires » : la formulation de la question, l'ordre des affirmations, une légère modification du prompt système.
Il en découle une première limite — la faible fiabilité. Faites passer à un même modèle le même test avec des modifications minimes, et vous pouvez obtenir des « personnalités » différentes. Une telle évaluation est peu utile pour prendre des décisions d'ingénierie : on ne peut pas sérieusement s'appuyer sur une caractéristique qui change à cause de quelques synonymes.
Le deuxième problème est plus profond. Les constructions psychologiques du BFI décrivent l'humain, pas un système informatique. Le modèle n'a pas de personnalité au sens humain, même si des schémas stables peuvent se dessiner dans son comportement. Le questionnaire classique tente de saisir ce qui a été conçu pour les humains, et c'est précisément pour cela qu'il prédit mal comment un LLM se comportera face à une requête réelle : la validité d'un tel outil pour la prédiction s'avère limitée.
CSI : un questionnaire conçu pour les modèles, pas pour les humains
Plutôt que d'adapter sans cesse les questionnaires humains, les auteurs de ces nouveaux travaux proposent de reconstruire l'outil de zéro. Le Core Sentiment Inventory (CSI) a été spécialement conçu pour évaluer les traits de personnalité des LLM. L'idée clé est de s'éloigner des réponses directes « d'accord / pas d'accord ». Le CSI reconstruit le profil à partir de signaux indirects, c'est-à-dire, en réalité, de la manière dont le modèle choisit un comportement dans des situations données. Cette évaluation implicite incite moins le modèle à fournir des réponses « souhaitables » et permet d'observer des schémas plus naturels.
La méthodologie couvre initialement deux langues — l'anglais et le chinois. C'est un point fondamental : le contexte linguistique et culturel modifie le comportement du modèle, et un questionnaire bilingue permet de suivre cette variation plutôt que de produire un portrait moyenné. En sortie, le CSI ne fournit pas simplement quelques scores, mais un portrait psychologique du modèle : une description des traits qui se manifestent le plus fortement et dans quelles conditions.
Ce que les expériences ont montré
Dans leurs expériences, les auteurs ont comparé le CSI aux approches existantes d'évaluation de la personnalité des LLM. Selon leurs données, la nouvelle méthodologie opère à trois niveaux :
- Sensibilité aux nuances. Le CSI capte des différences subtiles dans le comportement des modèles, y compris entre les langues et les types de contextes. Les profils ne lissent pas le comportement vers une moyenne, mais préservent des détails importants.
- Fiabilité. Les résultats du CSI se sont révélés nettement plus cohérents et stables que ceux des outils actuels. De légères modifications des conditions influencent moins le tableau final.
- Capacité prédictive. La corrélation entre les évaluations du CSI et les sorties réelles des modèles a dépassé 0,85. C'est une relation forte : si le CSI indique qu'un modèle tend à se comporter d'une certaine manière, le comportement réel correspondra très probablement à la prédiction.
Un tel ensemble de propriétés est rare : certaines méthodes distinguent bien les comportements mais sont instables ; d'autres sont stables mais disent peu des actions réelles du modèle. Le CSI tente de combiner les deux qualités.
À quoi cela sert-il en pratique
Un profil de personnalité stable pour les LLM n'est pas seulement un objet de recherche. C'est un outil de contrôle qualité : on peut déterminer à l'avance le style de communication attendu d'un assistant et s'assurer que le modèle ne « se brise » pas lorsque la formulation de la tâche change. Le CSI permet également de comparer les modèles entre eux selon leurs caractéristiques comportementales, et pas seulement via des benchmarks de connaissances.
Enfin, un tel cadre d'évaluation de la « personnalité » est important pour un développement responsable de l'IA. Plus nous comprenons précisément quels schémas comportementaux sont ancrés dans un modèle, plus tôt nous pouvons repérer des tendances indésirables — avant qu'elles ne se manifestent dans un produit réel. Les auteurs ont publié le code de la méthodologie, ce qui permet de reproduire les résultats et de les vérifier sur ses propres modèles.
