Quand l'« oublié » refait surface
Le mécanisme de désapprentissage des grands modèles de langage semble généralement impressionnant : après une procédure de suppression d'informations indésirables, le modèle cesse de produire des textes sur le sujet interdit. Mais un tel nettoyage est rarement stable. Si, après cela, on effectue un simple réglage fin sur un petit fragment de ces mêmes données, les connaissances reviennent presque sans effort. Les expériences avec le jeu de données TOFU montrent qu'un réapprentissage sur seulement vingt exemples oubliés peut restaurer considérablement les métriques sur l'ensemble cible pour toutes les méthodes de désapprentissage connues. Le problème ne réside pas ici dans la qualité d'une technique spécifique, mais dans les propriétés du processus d'optimisation : après la procédure d'oubli, une géométrie de perte particulière est créée, à travers laquelle un réapprentissage peut facilement se frayer un chemin en arrière.
La falaise de marge : un scénario unique pour le retour des connaissances
Les chercheurs ont analysé le comportement de quatorze méthodes de désapprentissage post-hoc — basées sur les gradients, les préférences et la distillation — et ont découvert une tendance étrange. Pour chaque méthode et taille de modèle, on peut mesurer la marge de réponse au niveau des tokens individuels, c'est-à-dire la marge avec laquelle le modèle préfère un token à un autre. Il s'est avéré qu'après le désapprentissage, cette marge converge presque toujours vers une bande étroite, située juste au-dessus du niveau défini par l'ensemble de données conservé (retain). Ce phénomène a été observé dans 41 des 42 combinaisons possibles méthode-taille de modèle, d'où son nom de « falaise de marge » — par analogie avec une falaise géologique, au-delà de laquelle il n'y a plus rien.
Pourquoi la falaise apparaît
Mathématiquement, il a été possible de montrer que la falaise apparaît lorsque les connexions avec l'ensemble retain maintiennent les logits diagnostiques du contenu oublié au-dessus d'un certain seuil. Cela suffit pour que l'optimisation s'arrête : la fonction de perte originale des méthodes de saturation des tokens atteint un point stationnaire, bien que l'oubli ne soit pas encore garanti. La vérification sur 34 des 42 cellules de l'expérience a confirmé que c'est précisément la saturation de la perte qui crée ce « faux succès », rendant le retour des connaissances trivial.
Margin Calibration : comment réparer la falaise
Les auteurs de l'étude proposent un correctif enfichable nommé Margin Calibration (MC). Ce n'est pas une méthode de désapprentissage autonome, mais un module supplémentaire qui se greffe sur n'importe quelle approche existante. Au lieu de se fier à une perte saturante, MC ajoute une hinge margin non saturante : elle compare la marge par token d'un token spécifique avec la marge d'une réponse de référence, obtenue sur les données retain. De plus, une sonde KL est appliquée sur un corpus d'instructions non lié à la distribution d'apprentissage d'origine. Grâce à cette pression hybride, il est possible de restaurer la force du signal côté oubli, précisément là où la perte d'origine était « coincée » dans un point stationnaire.
La partie théorique ajoute de la confiance : si les gradients des différentes composantes sont alignés en termes de dominance, alors l'ensemble stationnaire de MC se trouve du côté de l'intersection avec la falaise. Cela permet d'estimer une limite supérieure pour le budget d'une attaque visant à augmenter la marge : si un attaquant tente de répéter l'apprentissage, il devra faire face à une résistance sérieuse, plutôt que de glisser sur une pente polie.
Résultats : victoire contre les attaques et prix à payer
L'efficacité de MC a été testée sur trois benchmarks : TOFU avec trois tailles de modèles Llama-3 et trois niveaux d'oubli, MUSE-News sur Llama-2-7B-hf et un panel séparé de Phi-3.5. Sans modifier la configuration pour chaque cas spécifique, le correctif enfichable a remporté les 14 comparaisons par paires des agrégats forget et a rempli toutes les cellules disponibles du test de réapprentissage. Les chiffres parlent d'eux-mêmes : la métrique moyenne ROUGE-L sur le panel après l'attaque est passée de 0.41 à 0.18 — le modèle a donc presque cessé de reproduire les textes oubliés, même lorsqu'on tentait de le « rééduquer ». De plus, MC a réduit l'AUC brute d'appartenance (métrique déterminant si des données faisaient partie de l'ensemble d'apprentissage) dans 13 cas sur 14.
Cependant, il y a un revers à la médaille. Dans toutes les expériences, une diminution de l'utilité du modèle côté retain a été constatée : le correctif rend le désapprentissage plus profond, mais le modèle gère alors moins bien les tâches liées aux connaissances conservées. Ce compromis doit être intégré dans le scénario d'application : pour les tâches où la performance sur les données retain est critique, un réglage fin des seuils ou une régularisation plus légère sera nécessaire.
Variante de production sans référence retain
Le schéma MC décrit ci-dessus repose sur des marges de référence obtenues à partir d'une réponse « étalon » entraînée sur les données retain. Mais en pratique, on n'a souvent pas accès à la distribution d'apprentissage d'origine. Pour de tels cas, une variante de déploiement distincte est prévue : elle permet d'atteindre les mêmes améliorations sans utiliser de référence entraînée sur retain, en la remplaçant par des seuils définis a priori ou des marges de contrôle issues d'un corpus d'instructions général. Cela rend la méthode applicable dans des produits réels, où les données à désapprendre ont déjà été supprimées du système et où la restauration de la référence est impossible ou interdite par la politique de confidentialité.
Conclusions
La principale conclusion pratique de l'étude est que le désapprentissage des modèles de langage ne peut pas être considéré comme fiable tant que la géométrie d'optimisation n'est pas prise en compte. La « falaise de marge » explique pourquoi de nombreuses méthodes élégantes sur le papier ne résistent même pas à de faibles attaques de réapprentissage, et montre une direction pour les travaux futurs. Margin Calibration est l'un des premiers correctifs qui lutte spécifiquement contre ce phénomène, et même s'il ne résout pas encore le problème sans effets secondaires, il établit le cadre approprié : au lieu de penser « une fois oublié, oublié pour toujours », il faut envisager la création d'un paysage de perte où le retour de l'oublié s'avère désavantageux et coûteux en énergie.
