Ketika yang "Terlupakan" Kembali
Mekanisme unlearning pada model bahasa besar biasanya terlihat mengesankan: setelah prosedur penghapusan informasi yang tidak diinginkan, model berhenti menghasilkan teks tentang topik terlarang. Namun pembersihan semacam ini jarang bersifat stabil. Jika setelahnya dilakukan fine-tuning biasa pada sebagian kecil dari data yang sama, pengetahuan akan kembali hampir tanpa usaha. Eksperimen dengan dataset TOFU menunjukkan bahwa fine-tuning hanya pada dua puluh contoh yang terlupakan mampu memulihkan metrik pada set target secara signifikan untuk semua metode unlearning yang dikenal. Masalahnya bukan pada kualitas teknik tertentu, melainkan pada sifat proses optimasi: setelah prosedur forgetting, tercipta geometri loss khusus yang membuat pembelajaran ulang dengan mudah membuka jalan kembali.
Tebing Margin: Satu Skenario Kembalinya Pengetahuan
Para peneliti menganalisis perilaku empat belas metode unlearning pasca-hoc — berbasis gradien, preferensi, dan distilasi — dan menemukan pola yang aneh. Untuk setiap metode dan ukuran model, margin respons dapat diukur pada tingkat token individual, yaitu cadangan yang digunakan model untuk lebih memilih satu token daripada token lainnya. Ternyata, setelah unlearning, margin ini hampir selalu menyatu ke pita sempit, yang terletak sedikit di atas tingkat yang ditetapkan oleh set data yang dipertahankan (retain). Fenomena ini muncul di 41 dari 42 kemungkinan kombinasi metode-ukuran model, sehingga diberi nama "tebing margin" — dengan analogi tebing geologis, di belakangnya tidak ada apa-apa.
Mengapa Tebing Itu Muncul
Secara matematis, berhasil ditunjukkan bahwa tebing muncul ketika koneksi dengan set retain menahan logit diagnostik konten yang terlupakan di atas ambang batas tertentu. Ini cukup untuk menghentikan optimasi: fungsi loss asli dari metode penjenuhan token mencapai titik stasioner, meskipun forgetting belum dijamin. Verifikasi pada 34 dari 42 sel eksperimen mengonfirmasi bahwa justru penjenuhan loss yang menciptakan "keberhasilan palsu" tersebut, yang membuat kembalinya pengetahuan menjadi sepele.
Margin Calibration: Cara Memperbaiki Tebing
Penulis penelitian mengusulkan plugin pemoles bernama Margin Calibration (MC). Ini bukan metode unlearning yang berdiri sendiri, melainkan modul tambahan yang dipasang di atas pendekatan yang sudah ada. Alih-alih mengandalkan loss yang menjenuhkan, MC menambahkan hinge margin yang tidak menjenuhkan: ia membandingkan margin per-token dari token tertentu dengan margin respons referensi yang diperoleh dari data retain. Selain itu, probe KL diterapkan pada korpus instruksi yang tidak terkait dengan distribusi pelatihan asli. Berkat tekanan hibrida semacam ini, kekuatan sinyal di sisi forgetting dapat dipulihkan tepat di tempat-tempat di mana loss asli "terjebak" di titik stasioner.
Bagian teoretis menambah keyakinan: jika gradien dari berbagai komponen disejajarkan berdasarkan dominasinya, maka set stasioner MC berada di sisi perpotongan dengan tebing. Ini memungkinkan estimasi batas atas anggaran serangan untuk menaikkan margin: jika penyerang mencoba mengulangi pelatihan, ia harus melewati perlawanan yang serius, bukan meluncur di lereng yang telah dipoles.
Hasil: Kemenangan atas Serangan dan Harga yang Harus Dibayar
Efektivitas MC diuji pada tiga benchmark: TOFU dengan tiga ukuran model Llama-3 dan tiga tingkat forgetting, MUSE-News pada Llama-2-7B-hf, dan panel Phi-3.5 terpisah. Tanpa mengubah konfigurasi untuk kasus tertentu, plugin pemoles memenangkan semua 14 perbandingan berpasangan agregat forget dan mengisi semua sel yang tersedia dalam uji pembelajaran ulang. Angkanya berbicara sendiri: metrik ROUGE-L rata-rata panel setelah serangan turun dari 0,41 menjadi 0,18 — artinya model hampir berhenti mereproduksi teks yang terlupakan, bahkan ketika dicoba untuk "dilatih ulang". Sebagai tambahan, MC menurunkan AUC keanggotaan mentah (metrik untuk menentukan apakah data termasuk dalam set pelatihan) dalam 13 dari 14 kasus.
Namun, ada sisi sebaliknya. Di semua eksperimen, terjadi penurunan utilitas model di sisi retain: plugin membuat unlearning lebih dalam, tetapi model menjadi lebih buruk dalam menangani tugas-tugas yang terkait dengan pengetahuan yang dipertahankan. Kompromi ini perlu diperhitungkan dalam skenario penerapan: untuk tugas-tugas di mana kinerja pada data retain sangat penting, diperlukan penyetelan ambang batas yang halus atau regularisasi yang lebih ringan.
Varian Produksi Tanpa Referensi Retain
Skema MC yang dijelaskan di atas bergantung pada margin referensi yang diperoleh dari respons "standar" yang dilatih pada data retain. Namun dalam praktiknya, sering kali tidak ada akses ke distribusi pelatihan asli. Untuk kasus seperti itu, tersedia varian penerapan terpisah: varian ini memungkinkan pencapaian peningkatan yang sama tanpa menggunakan referensi yang dilatih-retain, menggantinya dengan ambang batas yang ditentukan sebelumnya atau margin kontrol dari korpus instruksi umum. Ini membuat metode ini dapat diterapkan di produk nyata, di mana data untuk unlearning telah dihapus dari sistem dan pemulihan referensi tidak mungkin atau dilarang oleh kebijakan privasi.
Kesimpulan
Kesimpulan praktis utama dari penelitian ini: unlearning model bahasa tidak dapat dianggap andal selama geometri optimasi tidak diperhitungkan. "Tebing margin" menjelaskan mengapa banyak metode yang tampak bagus di atas kertas tidak bertahan bahkan terhadap serangan pembelajaran ulang yang lemah, dan menunjukkan arah untuk penelitian selanjutnya. Margin Calibration adalah salah satu plugin pertama yang secara khusus memerangi fenomena ini, dan meskipun ia belum menyelesaikan masalah tanpa efek samping, ia memberikan kerangka yang tepat: alih-alih berpikir "sekali lupa — lupa selamanya", kita harus berpikir tentang menciptakan lanskap loss di mana kembalinya yang terlupakan menjadi tidak menguntungkan dan mahal secara energi.
