Model yang bekerja secara bersamaan dengan gambar dan teks telah belajar dengan sangat baik: mereka mengenali objek, menjawab pertanyaan berdasarkan gambar, dan mentransfer pengetahuan ke tugas-tugas baru. Namun, di balik kesuksesan ini sering kali tersembunyi kelemahan yang tidak terlihat: model tidak mengingat sifat asli objek, melainkan detail penyerta yang berfungsi sebagai "jalan pintas". Penyesuaian prompt secara adversarial adalah salah satu cara untuk membuat model lebih tangguh, tetapi metode ini pun memiliki jebakan. Mari kita bahas mengapa model belajar hal yang salah, dan bagaimana pendekatan baru mengusulkan untuk memisahkan fitur yang berguna dan yang menipu.
Mengapa model belajar hal yang salah
Ketika model visi-bahasa disetel pada data dengan noise atau contoh adversarial, tampaknya logis untuk mengharapkan ketangguhan meningkat secara merata. Namun pada praktiknya terjadi sebaliknya: pada kelas yang sudah terlihat, model menunjukkan hasil yang sangat baik, tetapi pada kelas baru yang belum terlihat, kualitasnya menurun drastis saat muncul serangan adversarial. Fenomena ini disebut overfitting pada generalisasi yang tangguh.
Penyebabnya adalah model mulai bergantung pada fitur pseudo-tangguh — kumpulan pola acak yang bertahan saat serangan, tetapi tidak mencerminkan esensi objek. Misalnya, model mungkin mengingat tekstur latar belakang, bayangan khas, atau noise spesifik yang ada dalam contoh pelatihan. Fitur-fitur seperti ini lolos dari gangguan adversarial, tetapi tidak berfungsi pada data baru. Model overfitting bukan pada konten, melainkan pada petunjuk shortcut — dan semakin lama pelatihan, semakin kuat degradasi pada kelas yang belum terlihat.
Cara memisahkan fitur: ide ADAPT
Para penulis mengusulkan filosofi yang tidak biasa: alih-alih hanya mengajari model fitur yang benar, kita juga perlu secara eksplisit mengajari model hal-hal yang tidak boleh dipelajari. Dari sinilah lahir metode ADAPT (Adversarial Disentangled Prompt Tuning).
Ide utamanya adalah menggunakan dua jenis prompt secara bersamaan:
- Prompt target — bertanggung jawab agar model mengekstrak fitur yang tangguh dan dapat digeneralisasi.
- Prompt umpan — kumpulan prompt tambahan khusus yang dengan sengaja "menyerap" pola pseudo-tangguh.
Selama pelatihan, prompt umpan saling bersaing: masing-masing berusaha menangkap jenis label acak tertentu. Sementara prompt target secara paksa dibuat ortogonal terhadap umpan dalam ruang embedding. Dengan demikian, fitur tangguh terpisah dari fitur menipu: apa yang sudah "dipelajari" umpan tidak dapat digunakan oleh prompt target.
Mekanika prompt ganda
Pada praktiknya, ini terlihat seperti pembagian kerja. Prompt umpan tidak diperlukan untuk prediksi akhir — tugasnya adalah menjadi "keranjang sampah" untuk distorsi yang diwariskan. Prompt target dilatih dengan batasan: vektornya tidak boleh sejajar dengan arah umpan. Ortogonalitas dalam ruang embedding berarti fitur yang digunakan umpan tidak memengaruhi keputusan prompt target. Hasilnya, model dipaksa mencari pola yang lebih dalam dan kausal.
Mengapa pemisahan berhasil
Ortogonalitas bukan sekadar teknik, tetapi cara memberikan jaminan teoretis. Analisis metode menunjukkan: fungsi kerugian khusus membatasi pengaruh pergeseran fitur pseudo-tangguh pada prediksi untuk kelas yang belum terlihat.
Singkatnya: bahkan jika umpan mengumpulkan banyak informasi berlebih, informasi tersebut tidak dapat "mengalir" ke prompt target. Akibatnya, pergeseran distribusi data yang terjadi saat transisi dari kelas terlihat ke kelas belum terlihat memiliki pengaruh yang lebih kecil pada kesalahan model. Pendekatan ini memberikan perilaku yang lebih dapat diprediksi pada contoh adversarial dan tidak mengorbankan ketangguhan satu kelas demi kelas lainnya.
Apa yang ditunjukkan eksperimen
Pengujian praktis mengonfirmasi: ADAPT secara signifikan meningkatkan ketangguhan prompt target pada kelas yang belum terlihat dibandingkan dengan metode penyesuaian adversarial yang ada. Model tidak sekadar menghafal perlindungan dari serangan tertentu, tetapi membentuk fitur yang lebih bersih yang berfungsi pada materi baru.
Tentu saja, menghilangkan pola palsu sepenuhnya belum mungkin — tugas memisahkan kausalitas dan korelasi tetap menjadi salah satu yang paling sulit dalam pembelajaran mesin. Namun pendekatan "mengajari apa yang tidak perlu dipelajari" memberikan panduan praktis: terkadang cara terbaik untuk mengajari model adalah menunjukkan apa yang harus diabaikan.
Kesimpulan utama bagi praktisi: saat menyetel model visi-bahasa, perhatikan tidak hanya peningkatan akurasi pada data pelatihan, tetapi juga fitur apa yang diandalkan model. Jika Anda menambahkan "jebakan" untuk pola acak dalam proses pelatihan — misalnya, melalui prompt ganda dengan ortogonalitas — Anda bisa mendapatkan model yang tidak hanya lebih andal, tetapi juga lebih jujur.
