Une grande modèle de langage rencontre rarement l'utilisateur dans sa forme originale. Avant son déploiement, elle est affinée pour les dialogues, compressée, quantifiée, et une partie de ses poids est écartée. Chacune de ces étapes apporte un bénéfice pratique, mais laisse presque toujours une trace : le modèle peut commencer à moins bien raisonner, oublier des faits rares ou perdre le sens du style. La question est de savoir s'il est possible de restaurer ces compétences sans un réapprentissage complet sur d'énormes ensembles de données.
Pourquoi la qualité se dégrade après l'affinage et la compression
L'oubli catastrophique accompagne généralement le Supervised Fine-Tuning (SFT). Le modèle est adapté à un nouveau format de réponses, et la mise à jour des poids réécrit involontairement une partie des anciennes connaissances. La quantification et l'élagage agissent différemment : ils économisent de la mémoire et accélèrent l'inférence, mais remplacent les calculs précis par des approximations et désactivent une partie des connexions. En conséquence, non seulement le comportement du modèle est déformé, mais aussi sa représentation interne des connaissances.
Les symptômes externes peuvent varier — de la perte de précision factuelle à des réponses monotones. Cependant, la cause est commune : la structure de l'espace latent dans lequel le modèle « pense » cesse de correspondre à celle de la version originale.
L'auto-distillation au lieu d'un réapprentissage
Dans l'article arXiv:2604.15794, les chercheurs ont proposé le cadre Self-Distillation Fine-Tuning (SDFT). L'idée est d'utiliser le modèle lui-même comme source de restauration. La version endommagée joue le rôle de l'élève, et sa variante « saine » — conservée avant la compression ou le SFT — celui de l'enseignant. Lors de la phase d'affinage, l'élève ajuste ses réponses et ses états internes pour se rapprocher de l'enseignant.
Ce n'est pas un transfert de connaissances classique d'un grand modèle vers un petit. Ici, l'enseignant et l'élève sont en réalité la même architecture à différents stades de leur vie. C'est pourquoi le processus est appelé auto-distillation : le modèle n'apprend rien de fondamentalement nouveau, mais retrouve sa cohérence interne perdue.
Ce que montre l'alignement des variétés latentes
Les auteurs partent du principe que les capacités génératives des LLM reposent fondamentalement sur une variété de haute dimension formée par les couches cachées. La qualité du modèle n'est pas déterminée par des neurones individuels, mais par la manière dont les activations sont organisées dans cet espace. On peut les imaginer comme un nuage de points : chez un modèle bien entraîné, le nuage possède une structure caractéristique, que la compression ou l'oubli détruisent.
Pour mesurer la restauration, l'article utilise le Centered Kernel Alignment (CKA) — une métrique de similarité entre les représentations internes de l'enseignant et de l'élève. Le CKA est pratique car il est invariant aux transformations orthogonales et à la mise à l'échelle. Il ne s'attarde pas sur les rotations uniformes ou les étirements des coordonnées, mais capture précisément le changement de configuration des activations.
Les expériences ont montré une forte corrélation entre la restauration des performances et l'augmentation de l'alignement CKA. Plus la variété de l'élève se rapproche de celle de l'enseignant, mieux le modèle retrouve ses compétences perdues. Cela confirme que l'auto-distillation ne fonctionne pas par hasard, mais parce qu'elle aligne la structure géométrique de l'espace latent.
Conclusion pratique
L'idée de restaurer un modèle par distillation n'est pas nouvelle en soi. La nouveauté de l'approche réside dans l'explication de pourquoi cela fonctionne et dans la manière de vérifier cette explication. Le CKA pourrait devenir un outil de diagnostic : si, après quantification ou élagage, l'alignement chute brutalement, le modèle a besoin d'une « réparation ». Le SDFT, quant à lui, permet d'effectuer cette réparation sans revenir à un cycle d'entraînement complet.
Ce travail relie un cadre pratique de restauration des performances à une théorie géométrique des représentations. Cela offre une image plus claire de ce qui se passe à l'intérieur d'une LLM lors de la compression et pourquoi l'auto-distillation est capable de restaurer les capacités perdues.
