Uma grande modelo de linguagem raramente encontra o usuário em sua forma original. Antes do lançamento, ela é ajustada para diálogos, compactada, quantizada e parte de seus pesos é descartada. Cada uma dessas etapas traz benefícios práticos, mas quase sempre deixa uma marca: o modelo pode começar a raciocinar pior, esquecer fatos raros ou perder o senso de estilo. A questão é se é possível recuperar essas habilidades sem um re-treinamento completo em conjuntos de dados enormes.
Por que a qualidade sofre após o ajuste fino e a compactação
O esquecimento catastrófico geralmente acompanha o Supervised Fine-Tuning (SFT). O modelo é adaptado a um novo formato de respostas, e a atualização dos pesos sobrescreve involuntariamente parte do conhecimento antigo. A quantização e a poda atuam de forma diferente: elas economizam memória e aceleram a inferência, mas substituem cálculos precisos por aproximações e desativam parte das conexões. Como resultado, deforma-se não apenas o comportamento do modelo, mas também sua representação interna de conhecimento.
Os sintomas externos podem variar — desde a perda de precisão factual até respostas monótonas. No entanto, a causa é comum: a estrutura do espaço latente no qual o modelo "pensa" deixa de corresponder àquela da versão original.
Autodestilação em vez de re-treinamento
No artigo arXiv:2604.15794, os pesquisadores propuseram o framework Self-Distillation Fine-Tuning (SDFT). A ideia é usar o próprio modelo como fonte de recuperação. A versão danificada atua como aluno, e sua variante "saudável" — preservada antes da compactação ou do SFT — como professor. Durante o ajuste fino, o aluno ajusta suas respostas e estados internos para se aproximar do professor.
Isso não é uma transferência clássica de conhecimento de um modelo grande para um pequeno. Aqui, professor e aluno são, na prática, a mesma arquitetura em diferentes estágios de vida. Por isso, o processo é chamado de autodestilação: o modelo não aprende nada fundamentalmente novo, mas recupera a consistência interna perdida.
O que o alinhamento de variedades latentes mostra
Os autores partem do princípio de que as capacidades generativas dos LLMs se baseiam fundamentalmente em uma variedade de alta dimensão formada pelas camadas latentes. A qualidade do modelo é determinada não por neurônios individuais, mas pela forma como as ativações estão organizadas nesse espaço. Pode-se imaginá-las como uma nuvem de pontos: em um modelo bem treinado, a nuvem tem uma estrutura característica, e a compactação ou o esquecimento a destroem.
Para medir a recuperação, o estudo utiliza o Centered Kernel Alignment (CKA) — uma métrica de similaridade entre as representações internas do professor e do aluno. O CKA é conveniente por ser invariante a transformações ortogonais e escalonamento. Ele não se importa com rotações uniformes ou estiramentos das coordenadas, mas captura justamente a mudança na configuração das ativações.
Os experimentos mostraram uma forte correlação entre a recuperação do desempenho e o aumento do alinhamento CKA. Quanto mais próxima a variedade do aluno está da variedade do professor, melhor o modelo recupera as habilidades perdidas. Isso confirma: a autodestilação não funciona por acaso, mas porque alinha a estrutura geométrica do espaço latente.
Conclusão prática
A ideia de recuperar um modelo por meio de destilação não é nova em si. A novidade da abordagem está em explicar por que isso funciona e em fornecer uma maneira de verificar essa explicação. O CKA pode se tornar uma ferramenta diagnóstica: se, após a quantização ou a poda, o alinhamento cair drasticamente, o modelo precisa de "reparo". O SDFT, por sua vez, permite realizar esse reparo sem retornar ao ciclo completo de treinamento.
O trabalho conecta um framework prático de recuperação de desempenho à teoria geométrica das representações. Isso oferece um quadro mais claro do que acontece dentro de um LLM durante a compactação e por que a autodestilação é capaz de restaurar capacidades perdidas.
