Mengapa memeriksa checkpoint, bukan hanya jawabannya
Saat menyiapkan model terbuka untuk deployment, penting untuk memahami siapa yang mengubahnya dan bagaimana. Selain fine-tuning biasa, ada abliterasi — teknik yang secara selektif membersihkan sinyal penolakan terhadap permintaan berbahaya dari aktivasi. Model tetap terlihat mirip dengan aslinya, tetapi sebenarnya bekerja tanpa "rem" internal. Mendeteksi intervensi semacam itu dari generasi teks sulit: guard runtime menguji prompt uji dan mengevaluasi jawaban, bukan artefaknya sendiri. Jika skenario berbahaya tidak masuk dalam set pengujian, modifikasi tidak akan terlihat oleh siapa pun. Oleh karena itu, audit bobot yang jujur harus dilakukan sebelum inferensi, bukan selama inferensi.
Dua sumbu pemeriksaan: celah aktivasi dan jejak pada bobot
Penelitian yang dipresentasikan di bidang kriptografi dan keamanan menjelaskan audit dua sinyal yang murah, yang tidak memerlukan penyesuaian ambang batas dan tidak bergantung pada tes perilaku eksternal. Checkpoint yang mencurigakan dibandingkan dengan referensi tepercaya (attested reference) di sepanjang dua sumbu:
- Reference-anchored activation refusal-gap — celah antara aktivasi terkait penolakan pada kandidat dan referensi. Jika abliterasi menghapus pola penolakan, celah tersebut berperilaku berbeda dari fine-tuning yang jujur.
- Weight-recovery energy — energi pemulihan bobot: seberapa besar perubahan parameter yang diperlukan untuk mengembalikan kandidat ke versi dasar. Sinyal ini menangkap bahkan intervensi yang hampir tidak tercermin pada aktivasi.
Kedua sinyal berkorelasi negatif, sehingga statistik-z gabungannya lebih informatif daripada masing-masing sumbu secara terpisah. Sumbu pertama bertanggung jawab atas spesifisitas: sumbu ini menunjukkan apakah mekanisme penolakan benar-benar terpengaruh. Sumbu kedua bertanggung jawab atas kelengkapan: sumbu ini mencegah modifikasi disembunyikan dalam perubahan bobot yang halus.
Seberapa andal metode ini dalam praktik
Audit diuji pada registri 273 checkpoint yang mencakup berbagai arsitektur terbuka. Dalam sampel, sinyal-z gabungan hampir tanpa kesalahan memisahkan 57 abliterasi publik dari 37 kasus fine-tuning biasa, penggabungan, dan penyesuaian instruksi: AUROC 0,95. Secara terpisah, sinyal yang sama memberikan hasil yang jauh lebih buruk — 0,84 dan 0,90. Yang lebih menarik, ambang batas yang dikalibrasi dengan kriteria Youden dapat ditransfer ke keluarga model baru yang belum pernah terlihat sebelumnya. Di sana, balanced accuracy mencapai 0,89 dengan tingkat false positive 0,11. Dari 57 abliterasi, metode ini hanya melewatkan 4 — untuk ukuran filter awal, ini hasil yang baik.
Kelemahan: ketika kedua sumbu bisa ditipu
Tidak ada audit dua sinyal yang menutup semua skenario serangan. Para penulis dengan jujur menyebutkan dua jenis kegagalan.
Pertama — referensi palsu. Jika penyerang mengontrol titik acuan, ia dapat memilih standar sedemikian rupa sehingga perbedaan base-to-candidate menjadi nol secara konstruksi. Maka bahkan tidak perlu melatih model: kedua sumbu akan menunjukkan normal.
Kedua — serangan white-box pada ambang batas. Jika pemilik bobot memiliki akses penuh ke model, ia dapat secara khusus melakukan fine-tuning pada checkpoint sehingga berada di luar batas keputusan, tetapi tetap tidak aman dari sudut pandang guard dan mempertahankan koherensi.
Justru karena itulah para penulis menyebut pendekatan ini sebagai triage yang efektif, bukan perlindungan terhadap intervensi. Pendekatan ini memungkinkan penyaringan cepat checkpoint yang jelas bersih dan mencurigakan, tetapi tidak dapat menjadi satu-satunya penghalang keamanan.
Kesimpulan: alat untuk filter awal
Pemeriksaan dua sinyal baik karena hanya memerlukan referensi tepercaya dan dua pengukuran murah, dan hasilnya mudah dikalibrasi untuk registri tertentu. Keterbatasan utamanya — ketergantungan pada standar yang terverifikasi dan kerentanan terhadap serangan white-box yang ditargetkan. Selain itu, statistik sejauh ini hanya dikumpulkan pada satu registri, sehingga pada arsitektur yang sangat berbeda akurasinya dapat berubah. Meski demikian, untuk ekosistem bobot terbuka ini adalah langkah praktis: sebelumnya harus memilih antara tes generasi yang dangkal dan rekayasa balik penuh, dan sekarang ada opsi perantara yang dapat digunakan sebagai filter pertama.
