Répétitions espacées selon la méthode SuperMemo-2 : comment poursuivre l’apprentissage des modèles de langue sans oublier
Lorsqu’un grand modèle de langue est poursuivi en apprentissage sur de nouvelles données, il risque de perdre les connaissances déjà acquises. Ce phénomène est familier à quiconque a essayé d’affiner un réseau de neurones sur un domaine restreint : après quelques étapes d’optimisation, le modèle peut « oublier » son érudition générale. La méthode classique pour atténuer ce problème est le replay, c’est-à-dire le mélange d’anciens exemples dans l’ensemble d’apprentissage. Mais ce replay est généralement trop grossier : les anciennes et nouvelles données sont simplement mélangées dans une proportion fixe. Tous les anciens exemples sont alors considérés comme également importants, alors qu’en pratique certaines connaissances s’effacent rapidement, tandis que d’autres persistent longtemps.
Les auteurs d’un récent travail sur arXiv (2608.17530) proposent de repenser le pré-entraînement continu comme un problème de planification adaptative des répétitions. Au lieu de décider une fois pour toutes quelle quantité d’historique mélanger, le modèle doit, à chaque instant, choisir quels exemples précis réintroduire dans l’apprentissage. Cela permet de réagir aux lacunes réelles de la mémoire, plutôt que de suivre un calendrier statique.
Des cartes mémoire aux paramètres du modèle
L’idée est empruntée aux sciences cognitives, plus précisément à l’algorithme SuperMemo-2 (SM-2), utilisé depuis des décennies pour planifier les répétitions espacées lors de l’apprentissage de cartes mémoire. SM-2 indique à quel moment exactement montrer une carte pour que la connaissance se consolide et ne disparaisse pas. Dans la nouvelle méthode Spaced Repetition Training (SRT), ce principe est transposé à l’apprentissage des réseaux de neurones.
SRT maintient pour chaque exemple d’entraînement son propre état de répétition. Pour comprendre à quel point le modèle se souvient encore d’un exemple, on utilise la perplexité — une mesure de la confiance avec laquelle le modèle prédit les données. Si la perplexité augmente brusquement, cela signifie que l’exemple commence à être oublié, et il se voit attribuer une priorité élevée pour être réintégré dans l’apprentissage. Cette approche permet de ramener automatiquement dans l’entraînement à la fois les exemples « anciens », nécessaires au maintien des connaissances, et les « nouveaux », qui ne sont pas encore consolidés.
Il est important de noter que SRT ne touche ni à l’architecture du modèle, ni à la fonction de perte, ni à l’optimiseur. Tous les changements concernent uniquement la stratégie d’échantillonnage des données. Autrement dit, la méthode peut être appliquée par-dessus le processus d’apprentissage existant sans refonte majeure du pipeline.
Ce que les expériences ont montré
La méthode a été testée sur des corpus Wikipedia et de code séparés dans le temps — c’est-à-dire sur des données qui se divisent naturellement en périodes. Les résultats se sont révélés nettement meilleurs que ceux de l’apprentissage naïf et du replay uniforme. SRT a récupéré de 5 à 37 points de pourcentage de précision sur les anciennes connaissances que l’apprentissage naïf avait réussi à effacer. Parallèlement, les performances sur les nouvelles données ne se sont pas dégradées et, dans certains cas, ont même augmenté.
Le comportement sur les grands modèles est particulièrement intéressant : SRT y maintient des performances équilibrées sur de vastes benchmarks, tandis que l’apprentissage naïf et le replay classique entraînent une dégradation significative. Cela suggère que la planification des répétitions devient encore plus cruciale à mesure que l’échelle du modèle augmente, lorsque les données et les étapes d’apprentissage se multiplient.
Au-delà du langage
Il est intéressant de noter que le principe fonctionne non seulement avec le texte. Les expériences sur des données visuelles et tabulaires ont montré que la planification des répétitions s’applique partout où l’on peut mesurer un signal de rappel, c’est-à-dire comprendre que le modèle oublie un exemple précis. En réalité, il s’agit d’un mécanisme universel pour l’apprentissage continu, qui n’est pas lié à une modalité particulière.
La principale conclusion de ce travail est que l’abandon du replay moyenné au profit d’un calendrier de répétitions individuel offre un gain tangible dans l’équilibre stabilité-plasticité. Le modèle continue d’apprendre du nouveau, mais « révise la matière » précisément au moment où il commence à l’oublier. Cette approche apparaît comme une étape naturelle vers un apprentissage plus réfléchi des grands modèles de langue.
