Model bahasa besar jarang bertemu pengguna dalam bentuk aslinya. Sebelum diluncurkan, model tersebut dilatih ulang untuk dialog, dipadatkan, dikuantisasi, dan sebagian bobotnya dibuang. Setiap langkah ini memberikan manfaat praktis, tetapi hampir selalu meninggalkan jejak: model dapat mulai berpikir lebih buruk, melupakan fakta-fakta langka, atau kehilangan rasa gaya. Pertanyaannya adalah apakah keterampilan tersebut dapat dipulihkan tanpa pelatihan ulang penuh pada kumpulan data yang sangat besar.
Mengapa kualitas menurun setelah fine-tuning dan kompresi
Pelupa yang katastropik biasanya menyertai Supervised Fine-Tuning (SFT). Model diadaptasi ke format jawaban baru, dan pembaruan bobot secara tidak sengaja menimpa sebagian pengetahuan lama. Kuantisasi dan pruning bekerja berbeda: keduanya menghemat memori dan mempercepat inferensi, tetapi mengganti perhitungan presisi dengan perkiraan dan mematikan sebagian koneksi. Akibatnya, yang berubah bukan hanya perilaku model, tetapi juga representasi internal pengetahuannya.
Gejala eksternal bisa bermacam-macam — dari hilangnya akurasi faktual hingga jawaban yang monoton. Namun, penyebabnya sama: struktur ruang laten tempat model "berpikir" tidak lagi sesuai dengan struktur versi aslinya.
Self-distillation sebagai pengganti pelatihan ulang
Dalam makalah arXiv:2604.15794, para peneliti mengusulkan kerangka kerja Self-Distillation Fine-Tuning (SDFT). Idenya adalah menggunakan model itu sendiri sebagai sumber pemulihan. Versi yang rusak berperan sebagai murid, sementara versi "sehat"-nya — yang disimpan sebelum kompresi atau SFT — menjadi guru. Pada tahap fine-tuning, murid menyesuaikan jawaban dan keadaan internalnya agar mendekati guru.
Ini bukan transfer pengetahuan klasik dari model besar ke model kecil. Di sini, guru dan murid sebenarnya adalah arsitektur yang sama pada tahap kehidupan yang berbeda. Karena itu, proses ini disebut self-distillation: model tidak mempelajari sesuatu yang benar-benar baru, melainkan mengembalikan konsistensi internal yang hilang.
Apa yang ditunjukkan oleh penyelarasan manifold tersembunyi
Para penulis berangkat dari asumsi bahwa kemampuan generatif LLM secara fundamental bergantung pada manifold berdimensi tinggi yang dibentuk oleh lapisan-lapisan tersembunyi. Kualitas model ditentukan bukan oleh neuron individu, melainkan oleh bagaimana aktivasi tersusun dalam ruang tersebut. Aktivasi itu dapat dibayangkan sebagai awan titik: pada model yang terlatih baik, awan tersebut memiliki struktur yang khas, sementara kompresi atau pelupa merusaknya.
Untuk mengukur pemulihan, penelitian ini menggunakan Centered Kernel Alignment (CKA) — metrik kemiripan antara representasi internal guru dan murid. CKA nyaman digunakan karena invarian terhadap transformasi ortogonal dan penskalaan. Metrik ini tidak mempermasalahkan rotasi seragam atau peregangan koordinat, melainkan menangkap perubahan konfigurasi aktivasi.
Eksperimen menunjukkan korelasi kuat antara pemulihan performa dan peningkatan penyelarasan CKA. Semakin dekat manifold murid dengan manifold guru, semakin baik model mengembalikan keterampilan yang hilang. Ini menegaskan: self-distillation bekerja bukan secara kebetulan, melainkan karena menyelaraskan struktur geometris ruang laten.
Kesimpulan praktis
Ide pemulihan model melalui distilasi sebenarnya bukan hal baru. Kebaruan pendekatan ini terletak pada penjelasan mengapa hal itu berhasil, dan pada cara untuk menguji penjelasan tersebut. CKA dapat menjadi alat diagnostik: jika setelah kuantisasi atau pruning penyelarasan turun drastis, model memerlukan "perbaikan". SDFT, pada gilirannya, memungkinkan perbaikan tersebut dilakukan tanpa kembali ke siklus pelatihan penuh.
Penelitian ini menghubungkan kerangka kerja praktis untuk pemulihan performa dengan teori geometris representasi. Ini memberikan gambaran yang lebih jelas tentang apa yang terjadi di dalam LLM saat kompresi dan mengapa self-distillation mampu mengembalikan kemampuan yang hilang.
