Una gran modelo de lenguaje rara vez se encuentra con el usuario en su forma original. Antes de su lanzamiento, se ajusta para diálogos, se comprime, se cuantiza y se descartan parte de sus pesos. Cada uno de estos pasos aporta un beneficio práctico, pero casi siempre deja una huella: el modelo puede empezar a razonar peor, olvidar hechos poco comunes o perder el sentido del estilo. La cuestión es si se pueden recuperar las habilidades sin un reentrenamiento completo con conjuntos de datos enormes.
Por qué el ajuste y la compresión degradan la calidad
El olvido catastrófico suele acompañar al Supervised Fine-Tuning (SFT). El modelo se adapta a un nuevo formato de respuestas, y la actualización de pesos sobrescribe involuntariamente parte de los conocimientos antiguos. La cuantización y el pruning actúan de otra manera: ahorran memoria y aceleran la inferencia, pero sustituyen los cálculos precisos por aproximaciones y desactivan parte de las conexiones. Como resultado, no solo se deforma el comportamiento del modelo, sino también su representación interna del conocimiento.
Los síntomas externos pueden ser variados, desde la pérdida de precisión factual hasta respuestas monótonas. Sin embargo, la causa es común: la estructura del espacio latente en el que el modelo «piensa» deja de corresponderse con la de la versión original.
Autodestilación en lugar de reentrenamiento
En el trabajo arXiv:2604.15794, los investigadores propusieron el marco Self-Distillation Fine-Tuning (SDFT). La idea es utilizar el propio modelo como fuente de recuperación. La versión dañada actúa como alumno, y su variante «sana» —la conservada antes de la compresión o del SFT— como profesor. Durante la fase de ajuste, el estudiante adapta sus respuestas y estados internos para acercarse al profesor.
No se trata de una transferencia de conocimiento clásica de un modelo grande a uno pequeño. Aquí, profesor y alumno son, en realidad, la misma arquitectura en diferentes etapas de su vida. Por eso el proceso se denomina autodestilación: el modelo no aprende nada fundamentalmente nuevo, sino que recupera la coherencia interna que había perdido.
Qué muestra la alineación de las variedades latentes
Los autores parten de que las capacidades generativas de las LLM se basan fundamentalmente en una variedad de alta dimensión que forman las capas ocultas. La calidad del modelo no viene determinada por neuronas individuales, sino por cómo están organizadas las activaciones en ese espacio. Se pueden imaginar como una nube de puntos: en un modelo bien entrenado, la nube tiene una estructura característica, y la compresión o el olvido la destruyen.
Para medir la recuperación, en el trabajo se utiliza Centered Kernel Alignment (CKA), una métrica de similitud entre las representaciones internas del profesor y del alumno. CKA es útil porque es invariante a transformaciones ortogonales y al escalado. No se fija en rotaciones uniformes o estiramientos de las coordenadas, sino que capta precisamente el cambio en la configuración de las activaciones.
Los experimentos mostraron una fuerte correlación entre la recuperación del rendimiento y el aumento de la alineación CKA. Cuanto más se acerca la variedad del estudiante a la del profesor, mejor recupera el modelo las habilidades perdidas. Esto confirma que la autodestilación no funciona por casualidad, sino porque alinea la estructura geométrica del espacio latente.
Conclusión práctica
La idea de recuperar un modelo mediante destilación no es nueva en sí misma. La novedad del enfoque radica en explicar por qué funciona y en ofrecer una forma de verificarlo. CKA puede convertirse en una herramienta de diagnóstico: si tras la cuantización o el pruning la alineación cae bruscamente, el modelo necesita una «reparación». SDFT, a su vez, permite llevar a cabo esa reparación sin volver al ciclo completo de entrenamiento.
El trabajo conecta un marco práctico de recuperación del rendimiento con la teoría geométrica de las representaciones. Esto ofrece una imagen más clara de lo que ocurre dentro de una LLM durante la compresión y de por qué la autodestilación es capaz de devolver las capacidades perdidas.
