La prudence qui évolue avec l'expérience : la méthode RATTL pour des décisions sûres en situation d'incertitude
Lorsqu'un agent agit dans le monde réel, il est presque toujours confronté à des informations incomplètes sur le fonctionnement de son environnement. Ce problème est particulièrement aigu pour les systèmes qui doivent fonctionner en temps réel : robots, véhicules autonomes ou services basés sur de grands modèles de langage. Il est impossible de se prémunir au point de prendre en compte tous les scénarios imaginables, et un comportement trop audacieux peut conduire à un accident. Il faut un équilibre, et c'est précisément ce que cherche à trouver la nouvelle approche proposée dans la recherche de Deep Kumar Ganguly et Jan Kretinsky.
D'où vient le problème
Les auteurs ont présenté l'article « Quantifying Risk Under Evolving Uncertainty: Belief-Dependent Robustness for Safe Sequential Decision Making » (arXiv:2608.17574). L'article a été soumis en août 2026 et accepté à l'atelier RobustifAI de la conférence IJCAI-ECAI 2026. Au centre de l'attention se trouve RATTL, ou Risk-Adversarial Total-Reward Learning. Il s'agit d'une méthode qui permet à un agent de prendre des décisions en évaluant les risques dans des conditions où la dynamique de l'environnement n'est que partiellement connue.
L'idée clé de RATTL est que le degré de prudence n'est pas fixe, mais dépend directement du degré d'incertitude réelle de l'agent concernant son environnement. S'il y a peu de preuves, on agit avec prudence. Si elles deviennent plus nombreuses, on peut se permettre des actions plus audacieuses. C'est précisément cette adaptabilité qui distingue la méthode des approches classiques, où le niveau de risque est défini à l'avance et reste inchangé.
Comment fonctionne la méthode : l'incertitude comme rayon
À la base de RATTL se trouve l'a posteriori bayésien sur la dynamique inconnue de l'environnement. En termes simples, l'agent met constamment à jour ses représentations de la façon dont le monde fonctionne, au fur et à mesure que les observations s'accumulent. Mais pour la planification, cela ne suffit pas : il faut aussi comprendre à quel point ces représentations peuvent être erronées.
La solution des auteurs consiste à considérer un ensemble de modèles possibles de l'environnement sous la forme d'un ensemble d'incertitude de Wasserstein. Le rayon de cet ensemble — une mesure de l'écart que nous admettons par rapport aux attentes actuelles — est défini comme une fonction monotone de l'a posteriori. Aux premiers stades, lorsque les données sont rares, le rayon est grand : l'agent admet que l'environnement peut se comporter presque de n'importe quelle manière. Au fur et à mesure que les preuves s'accumulent, le rayon se rétrécit et le cercle des « mondes possibles » se resserre.
Ce mécanisme produit un effet d'interpolation intéressant. À la limite, lorsque le rayon est maximal, le comportement de l'agent est équivalent à une robustesse garantissant le pire cas — une stratégie sûre dans les scénarios les plus défavorables. Lorsque le rayon tend vers zéro, l'agent se transforme en optimiseur neutre au risque qui se contente de maximiser la récompense totale attendue. Aux points intermédiaires, on obtient un spectre continu de comportements — de l'extrêmement conservateur au presque trop sûr de lui.
La construction d'un tel critère s'appuie sur la dualité qui sous-tend la Entropic Value-at-Risk. Ce lien permet de traduire le choix du niveau de risque en choix du rayon d'incertitude, ce qui s'avère pratique sur le plan computationnel et clair sur le plan conceptuel : au lieu d'un « coefficient de prudence » abstrait, on travaille avec une grandeur géométrique que l'on peut interpréter comme un écart admissible par rapport au modèle connu.
Garanties et sécurité : le « Safety Sandwich »
Les auteurs ne se sont pas limités à des heuristiques. Ils ont montré que le problème de planification dans RATTL est bien posé sous des conditions de transitivité et de compacité de l'espace d'états. Cela signifie que l'algorithme ne « s'effondre » pas sur des trajectoires infinies et donne des valeurs significatives de la fonction d'utilité.
Le résultat théorique central a été nommé Safety Sandwich — le « sandwich de sécurité ». La valeur de RATTL se situe toujours entre deux valeurs extrêmes. Par le bas, elle est bornée par la valeur robuste non informée — c'est-à-dire l'estimation qu'obtiendrait un agent ne disposant d'aucune donnée et prêt au pire. Par le haut, par l'optimum en connaissance complète de la dynamique. À mesure que l'a posteriori se concentre autour du modèle vrai, l'écart entre ces bornes se réduit et l'estimation de RATTL tend vers l'optimum. En d'autres termes, la méthode garantit que la prudence excessive au début ne conduit pas à une récompense catastrophiquement faible, et que la confiance à la fin ne rend pas l'agent aveugle aux risques résiduels.
Comportement dans les exemples : de l'abstraction à la pratique
Pour illustrer, les auteurs examinent un exemple canonique avec un danger binaire — une situation où il existe deux états de l'environnement, l'un sûr et l'autre mortellement dangereux. Dans ce cas, le critère RATTL induit se réduit à la Conditional Value-at-Risk avec un niveau défini par l'entropie de l'a posteriori. En d'autres termes, plus la distribution des croyances de l'agent est « étalée », plus le seuil de pertes qu'il choisit est strict.
Un autre exemple de travail montre un comportement curieux : l'agent retarde longtemps une action efficace, attendant qu'un seuil d'identification net soit atteint. Autrement dit, il est prêt à tolérer la sous-optimalité — par exemple, se déplacer lentement ou choisir une stratégie délibérément peu avantageuse — pour ne pas risquer à l'aveugle. Dès que les preuves deviennent suffisamment convaincantes, un saut qualitatif se produit : l'agent passe à des actions assurées. Cela rappelle le comportement d'une personne qui, dans un lieu inconnu, marche d'abord lentement en regardant autour d'elle, puis accélère une fois qu'elle a reconnu le chemin.
Ce mode de fonctionnement est particulièrement important pour les systèmes temps réel. Les auteurs soulignent que RATTL est conçu pour la sécurité des agents agissant dans des conditions de flux continu de données, y compris les systèmes basés sur de grands modèles de langage. Pour eux, l'incertitude ne provient pas seulement de l'environnement physique, mais aussi de l'incertitude dans le comportement des utilisateurs ou dans la qualité du texte traité.
Pourquoi c'est important
La principale contribution de RATTL réside dans le rejet de la dichotomie rigide « prudence contre efficacité ». Au lieu de cela, les auteurs proposent de les considérer comme deux faces d'un même processus : plus nous en savons, plus nous pouvons être audacieux, tout en voulant maintenir un lien explicite entre le degré de notre connaissance et le risque admissible. Une telle approche rend les méthodes de prise de décision automatique plus transparentes et plus prévisibles, ce qui est important pour une mise en œuvre pratique.
La question de la complexité computationnelle pour de grands espaces d'états reste ouverte, mais la base théorique est déjà posée. Peut-être verrons-nous bientôt des modifications de RATTL pour des domaines spécifiques — de la gestion des drones aux assistants basés sur l'IA qui apprennent de leur propre expérience sans mettre en danger ni eux-mêmes ni leur entourage.
