Pourquoi les agents auto-améliorants sont instables : variance des résultats et dépendance à l'ordre des tâches
Les agents auto-améliorants constituent l'une des directions les plus prometteuses de l'IA moderne. Ils sont capables d'accumuler de l'expérience au fil du travail et de s'améliorer à chaque nouvelle tâche. Mais derrière cette idée séduisante se cache un problème sérieux : ces systèmes sont extrêmement imprévisibles. Un même agent peut produire des résultats radicalement différents lors d'un nouvel essai, et l'efficacité de son apprentissage dépend directement de l'ordre dans lequel les tâches lui sont présentées.
Une étude récente, présentée dans l'article « On the Fragility of Self-Improving Agents: Variance, Task Order, and Underspecification » (arXiv : 2608.18066), s'est penchée de près sur cette question. Les auteurs ont procédé à une réévaluation de deux méthodes populaires basées sur la tenue d'une banque de mémoire textuelle. Ces agents conservent des informations sur les tâches résolues et les utilisent comme mémoire externe lors du traitement de nouvelles requêtes. Le mécanisme semble simple et logique, mais en pratique, tout s'est avéré bien plus complexe.
Le bruit caché de l'auto-apprentissage
La première découverte des chercheurs concerne le niveau élevé de bruit dans l'évaluation de ces agents. Dans des environnements complexes avec des tâches multi-étapes, les résultats d'un même agent peuvent varier considérablement d'un essai à l'autre. Et l'ajout d'une boucle d'auto-amélioration ne fait pas que conserver ce bruit — elle l'amplifie nettement. Le paradoxe est le suivant : plus l'agent tente d'apprendre de son expérience, moins son comportement devient stable.
Pourquoi cela se produit-il ? Cela tient en partie au fait que la banque de mémoire textuelle accumule les informations de manière non déterministe. À chaque étape, l'agent choisit ce qu'il conserve et ce qu'il écarte, et ces décisions dépendent de nombreux facteurs. En conséquence, même avec des données d'entrée identiques, l'état interne de l'agent peut fortement différer, ce qui engendre la variance.
L'ordre des tâches comme programme d'apprentissage caché
La deuxième observation importante concerne l'influence de l'ordre des tâches. Il s'est avéré que l'amélioration de l'agent dépend fortement de la séquence dans laquelle il rencontre les tâches. Dans les travaux précédents consacrés aux agents auto-améliorants, un ordre fixe « par défaut » était souvent utilisé. Les chercheurs ont découvert que cet ordre crée en réalité un programme d'apprentissage implicite — les tâches sont organisées des plus simples aux plus complexes, ce qui permet à l'agent de développer progressivement ses compétences.
Cependant, il suffit de mélanger aléatoirement les tâches pour que l'efficacité de l'apprentissage chute brutalement. Cela signifie que le succès affiché de nombreux systèmes était en grande partie prédéterminé par un agencement favorable du matériel, et non par la capacité réelle de l'agent à apprendre. En substance, l'ordre par défaut agissait comme une condition préalable cachée au succès — un facteur dont on ne mentionnait généralement même pas dans les descriptions des méthodes.
La sous-spécification comme racine du problème
Les auteurs ont émis l'hypothèse que la cause principale de la fragilité réside dans la sous-spécification (underspecification) des tâches et de l'environnement. Lorsque les conditions d'une tâche sont décrites de manière insuffisamment détaillée, l'agent est contraint de prendre de nombreuses décisions ambiguës. Cela génère de l'aléatoire dans la manière dont il accumule les connaissances et dans celle dont il les applique ensuite.
Pour vérifier cette hypothèse, les chercheurs ont tenté de rendre le processus de construction de la mémoire plus spécifié. Ils y ont ajouté des rubriques d'évaluation détaillées et un retour d'information de l'environnement — c'est-à-dire les informations censées réduire l'ambiguïté. Le résultat est révélateur : la spécification supplémentaire n'a que partiellement comblé la dégradation des performances observée dans les expériences. Des écarts significatifs ont persisté, ce qui indique l'existence d'autres facteurs, encore non caractérisés, contribuant à l'instabilité.
Ce que cela signifie pour les praticiens
Les conclusions obtenues ont un rapport direct avec le développement et le test de tels systèmes. Premièrement, on ne peut pas se fier aux résultats d'un seul essai. Il est nécessaire d'exécuter l'agent à de multiples reprises et de rapporter non seulement les moyennes, mais aussi la variance. Dans le cas contraire, on peut facilement tirer une conclusion erronée sur l'efficacité d'une méthode en se basant sur un coup de chance.
Deuxièmement, lors de la comparaison de différentes approches, il est impératif de les tester sur des ordres de tâches mélangés aléatoirement. Si une méthode ne fonctionne que sur un programme d'apprentissage « sous serre », sa valeur pratique est discutable — dans la réalité, les tâches arrivent rarement dans une séquence parfaitement ordonnée.
Enfin, la sous-spécification n'est pas simplement une particularité de certains benchmarks, mais une propriété fondamentale de nombreux scénarios réels. Les agents doivent agir dans des conditions où les règles ne sont pas entièrement claires, et cela créera toujours un risque de défaillances imprévisibles. Par conséquent, parallèlement à l'amélioration des algorithmes eux-mêmes, il est important de concevoir des interfaces et des processus qui permettent à l'humain de contrôler efficacement le comportement de l'agent et d'intervenir avant qu'une erreur ne devienne critique.
En guise de conclusion
Les agents auto-améliorants restent un domaine extrêmement prometteur, mais encore immature. L'étude démontre clairement que leurs implémentations actuelles sont loin d'être fiables. La variance des résultats et la dépendance à l'ordre des tâches ne sont pas de simples désagréments, mais des propriétés fondamentales dont il faudra tenir compte. Sans des protocoles d'évaluation rigoureux, incluant des essais multiples et des tests de stress dans des environnements complexes, nous risquons de prendre des succès aléatoires pour de réels progrès. Et c'est déjà une question de confiance envers les systèmes d'IA dans leur ensemble.
