Quand le juge est partial : les agents auto-apprenants cessent d'éliminer les compétences inutiles
Imaginez un agent qui enrichit lui-même sa bibliothèque de compétences : il essaie de nouvelles approches, conserve les bonnes, rejette les inutiles. Pour que cela fonctionne, il faut un mécanisme qui empêche la bibliothèque de s'encombrer de déchets. Dans la conception moderne de ces agents, ce rôle est joué par le skill retirement — une contrainte structurelle qui garantit que l'arsenal de compétences ne devienne pas pire que « sans compétences du tout ». Mais, comme l'a montré le récent travail d'un groupe de chercheurs, cette garantie présente une vulnérabilité cachée : elle repose sur une évaluation honnête de la qualité. Or, si l'évaluation est faite par un juge LLM, l'honnêteté n'est pas garantie.
Pourquoi le retirement est important
Un agent qui invente constamment de nouvelles compétences a un problème naturel : une partie d'entre elles s'avère non seulement inutile, mais nuisible — elle gêne l'exécution des tâches de base. Sans contraintes, la bibliothèque croît indéfiniment et la qualité diminue. Le skill retirement est comme un jardinier qui arrache les mauvaises herbes à temps. Le mécanisme repose sur le fait que la contribution de chaque compétence peut être mesurée : si une compétence n'apporte aucun bénéfice, elle est supprimée.
Mais comment mesurer la contribution lorsqu'il n'existe pas de réponse de référence ? Dans de nombreuses tâches pratiques — rédaction de rapports, analyse de texte, élaboration de plans — il n'existe pas de solution unique correcte. C'est pourquoi, au lieu d'une vérification objective, on doit recourir à un juge LLM. Et c'est précisément là que se trouve la racine du problème.
Un juge partial : un sabotage discret
Les auteurs de l'article « The Blind Curator: How a Biased Judge Silently Disables Skill Retirement in Self-Evolving Agents » (Zhang, Cui, Wang, Li, Qiu, Zhu, He — travail présenté au COLM 2026 Workshop on Agent Behavior) ont examiné ce qui se passe lorsque le juge commet systématiquement des erreurs. Ils ont identifié un type d'erreur important — le false-pass : lorsqu'un résultat raté est considéré par le juge comme un succès. On pourrait croire qu'il s'agit d'un léger biais — après tout, le juge est simplement trop indulgent. En réalité, cela produit un effet inattendu : un juge partial ne se contente pas d'ajouter du bruit aux évaluations, il désactive complètement le mécanisme de retirement.
Pour la pureté de l'expérience, les chercheurs ont isolé l'influence du biais lui-même du bruit ordinaire. Il s'est avéré que le bruit symétrique (le juge se trompe aussi souvent dans les deux sens) ne gêne pas le fonctionnement du retirement. En revanche, un décalage asymétrique vers les faux succès casse tout.
Un seuil abrupt impossible à contourner
Le plus intriguant est la manière dont la défaillance se produit. Elle n'est pas progressive. Tant que la proportion de false-pass ne dépasse pas environ 0,45 — c'est-à-dire que le juge laisse passer moins de la moitié des échecs — le mécanisme fonctionne. Mais dès que ce seuil est franchi, le retirement basé sur la contribution cesse complètement de fonctionner. Aucune augmentation du volume de données ni du nombre d'itérations n'y change rien : il est impossible de repasser sous le seuil simplement en collectant davantage d'exemples.
Les chercheurs ont vérifié cela dans différentes conditions : dans un environnement de génération de rapports sans référence (avec une vérification croisée sur la génération de code) et dans d'autres domaines, avec différentes fréquences d'échecs. La défaillance du mécanisme se reproduit partout. La seule exception concerne les juges-vérificateurs presque parfaits, où le taux d'erreur est proche de zéro, mais c'est un cas rare pour les vrais juges LLM.
Un détail important : ils distinguent le véritable retirement (suppression des compétences réellement inutiles) et l'« éviction par plafond » (éviction des anciennes compétences par de nouvelles pour des raisons formelles). C'est le premier qui est désactivé, et c'est un effet universel, pas un artefact d'un environnement spécifique.
Une dégradation « silencieuse » : pourquoi le problème est invisible
Si le mécanisme est cassé, on pourrait s'attendre à ce que les métriques montrent immédiatement une détérioration. Mais non. Les auteurs ont découvert que dans certains modes, la qualité des évaluations reste stable malgré le retirement désactivé. La dégradation ne se manifeste que là où la même corruption du juge épuise en plus la synthèse de nouvelles compétences. Si la synthèse fonctionne, le tableau général semble normal.
Un curateur désactivé est « silencieux » : aucun indicateur agrégé ne révèle son absence. Extérieurement, l'agent continue de fonctionner, génère toujours des rapports, mais sa bibliothèque se sature lentement et son potentiel de croissance diminue. Cela rend le problème particulièrement dangereux : il est impossible à détecter lors des tests ordinaires.
Comment vérifier le juge avant le déploiement
Les auteurs proposent un moyen d'audit simple et peu coûteux — l'injection de défauts. L'idée est simple : avant le déploiement, l'opérateur introduit délibérément dans la bibliothèque une compétence manifestement inutile (ou soumet au juge un résultat manifestement mauvais) et observe comment le juge réagit. Si le juge la rejette — tout va bien. S'il la laisse passer — le système se trouve de l'autre côté du seuil, et le retirement ne fonctionne très probablement déjà plus.
Ce test ne nécessite pas d'infrastructure complexe et prend peu de temps. Il ne montre pas seulement une erreur ponctuelle, mais de quel côté du seuil se trouve le juge — ce qui permet de prendre une décision avant que l'agent ne commence à accumuler des compétences inutiles en mode opérationnel.
En guise de conclusion
Cette recherche porte sur la sécurité comportementale, pas sur la performance. Elle ne promet pas que les agents deviendront plus rapides ou plus précis. Elle dit autre chose : même un mécanisme de protection conservateur comme le skill retirement peut être discrètement désactivé par un juge partial, et le système continuera de paraître sain. La bonne nouvelle, c'est que ce processus peut être diagnostiqué par un test simple avant qu'il ne cause des dommages réels. Pour tous ceux qui conçoivent des agents auto-apprenants, c'est une raison de réfléchir : à quel point votre juge est-il honnête — et que se passera-t-il s'il devient soudainement trop indulgent.
