Audit Privasi Model Open-Weight
Bobot publik memang praktis, tetapi juga menyimpan risiko tersembunyi. Perusahaan dapat mengambil model open-weight dan melatihnya lebih lanjut pada basis data internal: korespondensi, data medis, atau dokumen korporat. Pengguna biasanya tidak tahu catatan apa saja yang masuk ke dalam pelatihan, dan bagi regulator serta klien, ini adalah pertanyaan mendasar. Pemeriksaan "keanggotaan" dalam set pelatihan — membership inference — justru menjawab pertanyaan ini: dapatkah kita mengetahui dari perilaku model bahwa teks tertentu digunakan dalam adaptasi?
Tugas ini menjadi lebih rumit karena kita biasanya hanya memiliki checkpoint setelah fine-tuning dan versi terbuka model sebelum fine-tuning. Dengan membandingkan reaksi dua checkpoint pada fragmen yang sama, kita dapat mencoba memisahkan efek fine-tuning dari perilaku umum model.
Karakteristik Model Bahasa Difusi
LLM klasik menghasilkan teks token demi token, dari kiri ke kanan. Model bahasa difusi diskret (dLLM) bekerja berbeda: mereka mampu memulihkan beberapa posisi yang dimasking secara bersamaan. Alih-alih prediksi berurutan, model menerima teks dengan serangkaian mask acak dan menghasilkan probabilitas untuk semua "lubang" dalam satu forward pass.
Kemampuan ini membuat dLLM sangat menarik untuk audit privasi. Jika perlu memeriksa apakah model mengingat bagian tertentu, kita dapat menyembunyikan sebagian token dan melihat reaksinya. Namun, pertanyaannya adalah posisi mana yang harus dimasking dan bagaimana menginterpretasikan responsnya.
Mengapa Rata-rata Mask Sederhana Tidak Berhasil
Intuisi pertama adalah mencoba banyak mask acak yang berbeda dan merata-ratakan error rekonstruksi. Inilah cara kerja pendekatan lama SAMA: model dijalankan pada puluhan varian acak, lalu sinyalnya dirata-ratakan.
Solusi ini memiliki dua kelemahan. Pertama, mask acak sering menangkap posisi "membosankan" yang diprediksi model sama saja bahkan tanpa fine-tuning — sinyal yang berguna tenggelam dalam noise. Kedua, setiap proses memakan sumber daya: untuk satu sampel diperlukan puluhan forward pass melalui model, yang pada skala dataset besar menjadi operasi yang mahal. Kita perlu cara memilih mask secara bermakna, bukan secara acak.
Keyakinan Menunjukkan Tempat untuk Memasking
Penulis pracetak baru mengusulkan metode JUMP (Joint Uncertainty-Guided Mask Probing). Idenya adalah menggunakan model referensi — checkpoint sebelum fine-tuning — sebagai "pendeteksi kebohongan".
Pertama, model referensi dijalankan pada teks asli dan posisi-posisi di mana model paling tidak yakin ditemukan. Diasumsikan bahwa justru tempat-tempat inilah yang paling banyak berubah saat fine-tuning: jika informasi spesifik mengalir di titik-titik ini, model terpaksa mempelajarinya. Kemudian posisi-posisi dengan keyakinan rendah ini dimasking sekaligus, dan model target merekonstruksinya dalam satu permintaan.
Selanjutnya, selisih antara rekonstruksi model target dan model referensi dibandingkan. Untuk mengabaikan deviasi acak, pemotongan diterapkan: hanya perbedaan yang melewati ambang batas tertentu yang dimasukkan ke dalam agregasi. "Selisih terpotong" semacam ini lebih baik dalam memisahkan sinyal sejati dari noise, dan pemaskingan bersama posisi-posisi informatif menghemat komputasi.
Hasil: Lebih Sedikit Proses — Akurasi Lebih Tinggi
Para penulis melakukan pengujian pada benchmark MIMIR, yang mencakup enam domain teks. Sebagai subjek uji, digunakan dua model difusi open-weight: LLaDA-8B-Base dan Dream-v0-Base-7B.
Rata-rata di seluruh domain, metrik ROC-AUC untuk LLaDA meningkat dari 0,819 menjadi 0,902, dan untuk Dream — dari 0,851 menjadi 0,942. Ini adalah peningkatan akurasi atribusi yang signifikan. Sementara itu, JUMP hanya membutuhkan tiga forward pass model per sampel, sedangkan SAMA memerlukan 32. Dengan kata lain, metode ini tidak hanya lebih akurat, tetapi juga sekitar sepuluh kali lebih murah dalam hal jumlah inferensi.
Signifikansi Praktis
Pendekatan yang diusulkan menunjukkan bahwa untuk audit model difusi yang telah di-fine-tuning, tidak perlu mencoba mask secara membabi buta. Cukup bertanya pada model referensi di mana ia kurang yakin, dan mengarahkan pemeriksaan tepat ke area-area tersebut. Ini memberikan alat yang dapat digunakan saat merilis pembaruan model open-weight dan untuk memverifikasi kepatuhan terhadap persyaratan data pribadi.
Karya ini masih berstatus pracetak — 22 halaman, versi saat ini v2 tertanggal 18 Agustus 2026. Meski demikian, perumusan masalah itu sendiri dan hasil yang kuat memungkinkan kita untuk berharap bahwa metode ini akan memiliki kelanjutan: adaptasi ke jenis arsitektur difusi lain atau ketahanan terhadap skenario fine-tuning yang lebih agresif.
