Du planning dans l'espace latent au transfert de compétences
L'apprentissage par renforcement moderne ne se résume plus à une simple énumération d'actions. Dans l'approche model-based RL, l'agent construit d'abord un modèle interne du monde — la manière dont l'environnement réagit à ses actions — puis utilise ce modèle pour planifier. Les modèles neuronaux du monde permettent de le faire dans l'espace latent : ils compressent les observations en vecteurs et prédisent les états suivants et les récompenses sans hypothèses explicites sur le fonctionnement de l'environnement. C'est puissant, mais cette approche présente une limitation notable : le modèle est généralement fortement lié à une tâche spécifique.
Les auteurs du nouveau preprint arXiv:2608.17959 — Isidoro Tamassia, Lennert De Smet et Giuseppe Marra — ont proposé de repenser la structure même du modèle du monde. Leur idée est d'extraire de l'état latent des composantes symboliques dont dépend la récompense, et de prédire précisément celles-ci. Un tel modèle neurosymbolique permet de transférer des compétences vers de nouvelles tâches sans aucune étape supplémentaire d'interaction avec l'environnement — c'est-à-dire en mode zero-shot. La version v2 de l'article a été présentée le 24 août 2026.
Pourquoi les modèles du monde classiques « collent » à la tâche
Un modèle neuronal du monde classique est entraîné sur les données d'un environnement et d'une fonction de récompense spécifiques. Au cours de l'apprentissage, les représentations latentes se forment pour être adaptées à cette récompense, mais elles ne sont pas nécessairement interprétables ni transférables à d'autres objectifs. Ainsi, lors d'un changement de tâche — par exemple, une modification de l'état cible ou des règles de récompense — l'agent doit en pratique réapprendre : les caractéristiques internes ne portent pas la structure nécessaire.
On peut imaginer un agent qui planifie parfaitement un itinéraire vers un objectif dans un labyrinthe, mais qui se perd lorsqu'on le transfère dans un labyrinthe avec un marquage de récompenses différent. Ses états latents sont « calibrés » pour l'ancienne récompense, et non pour les propriétés objectives de l'environnement. C'est précisément le problème principal que les auteurs tentent de résoudre.
Ce que change la formulation neurosymbolique
Plutôt que de prédire la récompense à partir de l'ensemble de l'état latent, les auteurs proposent d'en extraire une partie symbolique structurée. La prédiction de la récompense ne dépend que d'un petit sous-ensemble de ces composantes symboliques — par exemple, la position de l'agent, la présence d'une clé ou d'une porte ouverte. La reconstruction des observations reste quant à elle une tâche distincte et peut utiliser l'intégralité de l'état latent.
Cette séparation des deux objectifs — reconstruire l'image et prédire la récompense via les symboles — change fondamentalement le comportement du modèle lors du transfert. Si la nouvelle fonction de récompense est définie sur le même espace d'états symboliques, l'agent n'a pas besoin de réexplorer l'environnement. Il sait déjà extraire l'information symbolique nécessaire et se contente désormais de recalculer comment la nouvelle récompense se rapporte à ce qu'il observe.
Avantages et questions ouvertes
Le principal résultat de la recherche est la confirmation expérimentale que les modèles du monde neurosymboliques offrent une meilleure généralisation aux nouvelles fonctions de récompense que les approches purement neuronales. C'est un argument important en faveur de l'idée que l'ajout d'une couche symbolique aide réellement au transfert, et ne se contente pas de complexifier l'architecture.
Mais une telle architecture soulève également ses propres défis.
- Il faut décider quelles composantes de l'état doivent être considérées comme symboliques et lesquelles rester « brutes » pour la reconstruction.
- L'espace symbolique doit être suffisamment expressif pour permettre de définir des tâches variées — sinon le transfert se limitera à une classe étroite d'objectifs.
- L'apprentissage de la prédiction séparée de la récompense et de la reconstruction est plus complexe : le modèle ne doit pas perdre l'information visuelle nécessaire uniquement à la restitution des observations.
Pourquoi c'est important
Le transfert de compétences sans réentraînement est l'un des objectifs clés de l'apprentissage par renforcement. Actuellement, chaque nouveau scénario implique souvent une nouvelle phase de collecte de données et d'interaction avec l'environnement. Les modèles du monde neurosymboliques pourraient rendre cette transition nettement moins coûteuse : il suffirait que la nouvelle tâche soit décrite en termes d'états symboliques déjà connus de l'agent. En substance, c'est un pas vers un agent qui comprend non seulement « à quoi ressemble le monde », mais aussi « ce qui compte dans ce monde pour atteindre un objectif ».
Ce travail relève des domaines de l'intelligence artificielle et de l'apprentissage automatique (cs.AI, cs.LG) et revêt pour l'instant un caractère de résultat de recherche. Mais la direction semble prometteuse : une couche symbolique interprétable aide à la fois à la généralisation et à la confiance dans les décisions du modèle.
