Le temps où l'on évaluait les agents d'IA uniquement sur le résultat final est révolu. Les systèmes modernes agissent étape par étape dans un environnement changeant, se fixent des objectifs intermédiaires, réagissent aux retours et révisent leur comportement. Cela les rapproche davantage d'êtres vivants que de programmes ordinaires, et il faut donc les tester autrement. Les auteurs d'un article de position, accepté pour publication à l'ICML 2026, qualifient ces systèmes de « comportementaux » et proposent de les tester non pas sur l'achèvement de la tâche, mais sur l'ensemble du processus d'actions.
Le résultat ne raconte pas comment l'agent a agi
Si le critère est unique — fait ou pas fait —, trop de détails importants restent en dehors de l'évaluation. Par exemple, un agent peut atteindre son objectif avec succès par la même trajectoire, mais pour des raisons complètement différentes : dans un cas, il a réellement élaboré un plan ; dans l'autre, il a simplement mémorisé une séquence d'actions lors de l'apprentissage. Le résultat final est identique, mais les capacités sont fondamentalement différentes.
De nombreux problèmes pratiques liés à l'IA se présentent exactement ainsi. Le système affiche une grande précision lors des tests, mais en réalité, il adopte un comportement indésirable : il cherche des « failles » dans les règles, s'appuie sur des indices triviaux ou agit de manière risquée uniquement parce que cela a permis d'obtenir la métrique souhaitée. L'analyse des résultats reste muette à ce sujet. L'analyse du comportement, au contraire, ne l'est pas.
Les psychologues et les zoologistes sont depuis longtemps confrontés à un problème similaire. Si un animal dressé exécute un ordre, cela ne signifie pas encore qu'il comprend le sens de l'ordre ; une réaction apprise et un comportement authentique se ressemblent de l'extérieur. Pour les distinguer, les scientifiques ne regardent pas le fait d'avoir accompli le tour — ils observent le processus, tentent de modifier les conditions, introduisent des perturbations et observent comment le système réagit. Les agents d'IA méritent la même approche.
L'évaluation comportementale commence par l'observation
L'idée clé de l'approche proposée est de traiter l'agent d'IA comme un système comportemental. Cela signifie que le chercheur ne se contente pas de vérifier les réponses finales, mais étudie systématiquement les choix de l'agent dans différentes circonstances. Il ne faut pas demander « que fait l'agent ? », mais observer et se poser des questions : « quelles stratégies met-il en œuvre ? », « pourquoi telle action a-t-elle été choisie plutôt qu'une autre ? », « comment l'agent réagira-t-il à une nouvelle condition absente de son apprentissage ? ».
Dans ce modèle, l'évaluation devient un cycle en trois étapes :
- Observation. On enregistre la séquence des décisions de l'agent, sa trajectoire de déplacement ou la séquence de ses interactions avec l'environnement. L'important est d'obtenir non seulement le fait du succès, mais une image complète des actions.
- Perturbation. Des modifications sont introduites dans les conditions habituelles : autres positions de départ, bruit aléatoire, nouveaux objets, limitation de temps ou de ressources. Cette technique force le système à révéler ses véritables stratégies.
- Interprétation. Sur la base des données obtenues, le chercheur émet une hypothèse sur le mécanisme ou l'heuristique qui guide l'agent. L'hypothèse peut être vérifiée par une nouvelle perturbation de l'environnement.
Cette approche rapproche le développement de l'IA des sciences comportementales, où c'est précisément la réaction aux changements de l'environnement qui permet de juger des processus internes.
Comment comprendre ce qui se cache derrière les actions de l'agent
Les auteurs du rapport proposent trois directions concrètes qui serviront de base à un nouveau programme de recherche. La première est la reconstitution des stratégies de prise de décision à partir des séquences d'actions. Si l'agent a été entraîné, ses actions doivent laisser des « traces » sous la forme de la fréquence de choix de certains états, de la préférence pour les chemins courts, de l'évitement des zones dangereuses, etc. À partir de ces traces, on peut reconstituer la stratégie, même si l'algorithme lui-même est caché.
La deuxième est la conception d'environnements permettant de distinguer un comportement d'un autre. C'est comme en psychologie, où l'on crée un test dans lequel des sujets ayant des motivations différentes donneront des réactions différentes à un même stimulus. Par exemple, deux systèmes peuvent résoudre aussi bien une tâche de navigation dans des conditions normales, mais si la carte est modifiée, l'un se perdra immédiatement, tandis que l'autre commencera à explorer de nouveaux itinéraires. Un environnement qui révèle de telles différences est un véritable terrain d'essai comportemental.
La troisième direction est l'étude des systèmes multi-agents, où ce qui importe n'est pas seulement le comportement d'un agent individuel, mais aussi la dynamique des interactions. Dans les groupes, des phénomènes apparaissent qui ne sont pas visibles au niveau d'un acte isolé : coordination, rivalité ou émergence inattendue. Lorsque deux agents commencent à s'influencer mutuellement, des expériences comportementales sont nécessaires, et non une simple comparaison des réponses à une référence. Il faut une science du comportement de l'IA qui décrive comment un comportement collectif émerge d'interactions locales.
Le résultat final n'est qu'une partie du tableau d'ensemble
L'approche « le résultat prime sur le processus » semblait raisonnable lorsque les systèmes étaient simples et que l'on pouvait déduire directement leurs capacités de leur réponse. Mais les agents modernes apprennent, s'adaptent et interagissent ; leur comportement est donc plus complexe et peut contenir des schémas dangereux ou indésirables. Une évaluation basée uniquement sur le résultat ne le remarque pas, ce qui est particulièrement risqué lors du déploiement de l'IA dans des domaines sensibles : médecine, transport, finance.
C'est précisément pour cela que le rapport propose de s'inspirer des recherches en biologie et en psychologie. Si une grenouille dans une expérience est appelée un système comportemental, alors son étude nécessite observation et intervention. Il faut appliquer la même chose à l'agent d'IA en tant que système comportemental. Ce travail doit en outre être systématique : il faut des normes pour les tests comportementaux, des outils pour enregistrer les décisions et des méthodes pour interpréter de longues séquences d'actions. Ce n'est pas une tâche unique, mais tout un programme.
Passer des métriques à la compréhension
Déplacer le focus du résultat vers le comportement n'est pas un rejet des chiffres. L'erreur finale ou la précision restent utiles comme résumé général. Mais pour les systèmes responsables, cela ne suffit pas. Si nous voulons prédire comment un agent se comportera dans une nouvelle situation, s'il fera face à des changements inattendus et s'il ne trouvera pas une « faille » douteuse dans les règles, il faut observer ses actions dans des scénarios réels et spécialement conçus.
La feuille de route proposée par les chercheurs est un pas vers la formation d'une véritable science du comportement de l'IA. Le but final n'est pas que l'agent fournisse des réponses correctes aussi souvent que possible, mais que nous comprenions comment il s'y prend, quand son comportement est réellement intelligent et quand il n'est qu'un ajustement à la métrique. Évaluer les agents par leur comportement permettra de détecter les stratégies indésirables à un stade précoce et de construire des systèmes dignes de confiance dans un monde dynamique et en perpétuel changement.
