Le réapprentissage classique est une impasse pour la robotique
Les robots modernes, construits sur des modèles de bout en bout « vision-langage-action » (VLA) et des modèles monde-action, impressionnent tant qu'ils opèrent dans un environnement familier. Mais dès que la scène change — nouvel éclairage, autre agencement, objet inhabituel — le modèle se met à faire des erreurs. Pour restaurer la compétence, il faut collecter de nouvelles données, réentraîner la politique et exécuter des tests de régression. Ce cycle est appelé « l'impôt du réapprentissage » : chaque mise à jour de l'environnement exige un nouveau cycle de travail manuel coûteux.
La particularité de la robotique est que les données ne peuvent pas simplement être téléchargées depuis Internet. L'expérience physique doit être acquise en pilotant de vraies machines — lentement et à grands frais. C'est pourquoi l'approche « collecter beaucoup de données — entraîner — collecter encore plus » se généralise mal.
Un agent plutôt qu'une politique : l'idée de Teach-and-Grow Learning
Un groupe de chercheurs (Chang Nie, Zhe Liu, Hesheng Wang) a proposé l'architecture Teach-and-Grow Learning (TGL), qui déplace l'accent du réapprentissage vers la réutilisation de l'expérience. Plutôt que de réentraîner le modèle à chaque nouvelle tâche, TGL construit une bibliothèque de compétences — des comportements réutilisables pour des sous-objectifs typiques.
Tout commence par quelques démonstrations réussies. L'agent multimodal les décompose en blocs logiquement complets — les Skill Blocks. Chaque bloc est responsable d'une étape significative précise : saisir un objet, le déplacer, le poser, ouvrir un couvercle. Ces blocs sont conservés dans la Skill Library sous forme de programmes exécutables.
Lorsque le robot se trouve dans une nouvelle scène, l'agent ne lance pas une séquence pré-apprise, mais raisonne : quelles compétences sont pertinentes ici, comment les combiner, quel outil appliquer — appris ou calculé géométriquement. Il exécute ensuite le plan, observe le résultat physique et, si le comportement s'écarte de l'intention, corrige la trajectoire. Tous les succès, échecs et corrections sont consignés dans une Experience Memory structurée, qui aide l'agent à prendre des décisions la fois suivante.
Pourquoi cela fonctionne : l'apprentissage comme processus continu
La différence clé entre TGL et les approches classiques réside dans le rapport au déploiement. On considère généralement que l'apprentissage est terminé lorsque le modèle est « mis en production ». Dans TGL, le déploiement devient lui-même une période d'apprentissage continu : chaque tâche accomplie facilite la suivante, car l'agent accumule des blocs réutilisables et des connaissances sur leur applicabilité. Il n'est pas nécessaire d'apprendre une nouvelle politique pour une tâche spécifique — il suffit de combiner les compétences existantes et, si besoin, d'ajuster l'exécution.
Les chercheurs avancent une hypothèse de mise à l'échelle : si X est le volume d'expérience réutilisable effective, alors l'erreur sur les tâches futures et le besoin de réentraînement diminuent selon une loi de puissance, tendant vers un minimum irréductible. En d'autres termes, plus on accumule de compétences utiles, moins il est coûteux d'acquérir de nouvelles aptitudes.
Ce que les expériences ont montré
L'évaluation sur le benchmark LIBERO a donné des résultats au niveau de l'état de l'art. Des études contrôlées ont confirmé trois propriétés importantes :
- l'induction de compétences — l'agent peut extraire des blocs généralisables à partir de démonstrations, et non pas simplement mémoriser des trajectoires ;
- la réutilisation robuste — les compétences fonctionnent dans de nouvelles scènes sans réapprentissage ;
- l'adaptation pilotée par l'agent — le robot détecte lui-même les écarts et modifie son comportement en temps réel.
En guise de conclusion
Teach-and-Grow Learning est un pas vers des robots qui « grandissent » avec l'expérience, plutôt que de se réentraîner sans cesse à partir de zéro. Cette architecture est particulièrement prometteuse pour l'industrie et la robotique de service, où l'environnement change constamment et où chaque minute d'arrêt d'équipement coûte de l'argent. Si l'hypothèse de la mise à l'échelle en loi de puissance se confirme, le coût de déploiement de nouvelles tâches robotisées pourrait chuter de plusieurs ordres de grandeur — et les machines adaptatives cesseraient alors d'être une rareté.
