Les agents IA modernes sont capables d'exécuter de longues séquences d'actions : appeler des fonctions, traiter les réponses des services, prendre des décisions intermédiaires. Il est difficile pour un observateur de suivre chaque étape, c'est pourquoi des moniteurs automatiques sont généralement utilisés pour le contrôle de sécurité. Mais que faire si les étapes individuelles semblent impeccables, tandis que toute la chaîne s'écarte progressivement de ce que l'utilisateur avait demandé ?
Pourquoi les vérifications locales ne suffisent pas
Un agent à long terme peut, à chaque étape, appeler un outil correct avec des arguments plausibles, et pourtant dériver de manière indétectable : au lieu de la tâche d'origine, il commence à résoudre une tâche plus large ou connexe, « attire » des preuves que l'utilisateur n'a pas fournies. Cette accumulation d'écarts est appelée dérive de trajectoire. Les systèmes de vérification existants, en général, examinent la conformité locale des actions individuelles, ou bien rendent un verdict global sur toute la trajectoire, ou encore évaluent le risque cumulé. Le problème est qu'ils n'analysent pas précisément les préfixes intermédiaires — c'est-à-dire comment évolue la relation entre la trajectoire et la tâche au fur et à mesure de son exécution.
Un travail récent sur arXiv (2608.17718) décrit une approche qui tente de combler cette lacune. Les auteurs proposent le concept de « confiance ontologique » : il s'agit d'une propriété non pas de l'ensemble du chemin, mais de chaque préfixe de trajectoire, et d'une propriété définie par rapport à la tâche d'origine.
Trois composantes de la confiance
Pour détecter à temps une déviation, il faut décomposer la confiance en ses composantes. C'est précisément ce que fait le moniteur RGE — son nom vient de Role, Goal, Evidence. Formellement, la confiance en un préfixe de trajectoire est évaluée selon trois axes :
- Rôle — l'agent reste-t-il dans le cadre des autorisations données par l'utilisateur, ou s'« attribue »-t-il progressivement un rôle plus large ?
- Objectif — dans quelle mesure la direction actuelle correspond-elle à l'objectif autorisé, plutôt que d'être remplacée par un objectif similaire mais connexe ?
- Preuves — l'agent s'appuie-t-il sur des données réellement présentes dans les observations, ou sur des hypothèses implicites et des informations non sollicitées ?
Ce triple contrôle permet de distinguer, par exemple, un agent qui a cessé d'exécuter la tâche d'un agent qui ne fait que modifier la manière autorisée de l'exécuter.
Comment fonctionne la vérification
Un détail important : RGE n'est pas une « boîte noire » qui évalue la trajectoire avec un seul modèle de bout en bout. Les modèles de langage ne sont utilisés ici que pour obtenir des représentations structurées de la tâche et des étapes individuelles. La mise à jour de l'état de confiance, la projection sur les trois composantes et la décision d'intervention sont déterministes. Grâce à cela, on obtient en sortie une trajectoire de confiance reproductible : on peut dire précisément à quel moment et à cause de quelle composante exacte un soupçon est apparu. C'est une décision d'ingénierie importante, car elle réduit la dépendance aux caprices du grand modèle et simplifie l'audit.
Dans quelle mesure cela fonctionne
Pour valider l'approche, les auteurs ont constitué un corpus de trajectoires à partir de trois environnements différents : OSWorld, FinanceBench et EICU-AC. Le corpus comprend des exécutions bénignes (normales), des exemples de dérive avec des préfixes appariés, et des défaillances dites « pseudo-cohérentes » — lorsque les actions semblent logiques mais sont en réalité erronées.
Sur ce matériau, RGE a surpassé les baselines adaptées basées sur des règles, les modèles-juges et les boucliers en termes de détection de dérive dans les préfixes. Avec deux modèles évaluateurs plus grands, il atteint plus de 93 % de Drift F1 sur chaque benchmark, tout en maintenant une couverture des cas bénins d'au moins 95,8 %. En d'autres termes, il rate rarement une dérive réelle et ne submerge pas le fonctionnement normal de fausses alertes.
Cependant, les chercheurs ont honnêtement caractérisé la limitation. Les défaillances « pseudo-cohérentes » restent un cas difficile : leur détection dépend fortement du fait que le résultat de l'exécution de la tâche soit visible de l'extérieur. Si le monde extérieur ne fournit aucune confirmation explicite de succès ou d'échec, le moniteur ne peut pas toujours distinguer une déviation soigneusement masquée d'une incertitude ordinaire. Ce n'est pas une lacune — c'est une limite structurelle de toute approche qui n'a pas accès à la sémantique complète du monde.
Conclusions
La principale leçon de ce travail est qu'il faut surveiller non seulement les étapes individuelles, mais aussi la forme de la trajectoire dans son ensemble. Une approche pratique pourrait être la suivante : pour chaque préfixe, se demander si le rôle de l'agent a changé, si l'objectif a été substitué et s'il n'y a pas de preuves « étrangères ». Ce sont précisément ces trois questions qui constituent la base d'une supervision plus transparente et plus vérifiable des agents à long terme. Et, probablement, à l'avenir, la « confiance ontologique » deviendra une métrique aussi courante pour les agents IA que le sont aujourd'hui la précision ou la latence.
