Mengapa jailbreak menjadi masalah
Model bahasa modern berusaha menolak permintaan yang berbahaya atau merugikan, tetapi tidak ada perlindungan yang sempurna. Serangan jailbreak merancang prompt yang melewati batasan-batasan ini: meminta untuk membayangkan skenario hipotetis, mengganti peran, menulis ulang tugas dengan cara yang "aman", dan sebagainya. Para peneliti dan praktisi keamanan ingin memahami seberapa berbahaya serangan semacam itu sebenarnya.
Sebagian besar serangan bekerja dalam mode kotak hitam: penyerang tidak memiliki akses ke bobot model, tidak ada cara untuk menganalisis mekanisme internalnya. Yang ada hanyalah API tempat permintaan dapat dikirim dan respons diterima. Oleh karena itu, semua upaya penyerang bermuara pada pemilihan teks. Untuk menilai seberapa baik suatu serangan, perlu dipahami tidak hanya apakah pertahanan berhasil ditembus, tetapi juga dengan biaya berapa.
Biasanya digunakan metrik sederhana — rasio percobaan yang berhasil (ASR). Namun, metrik ini tidak menunjukkan berapa banyak permintaan yang harus dikirim. Padahal, justru jumlah panggilan ke model itulah yang sering menjadi kendala utama dalam praktik: semakin banyak permintaan, semakin tinggi peluang untuk terdeteksi, semakin mahal serangan tersebut dari segi waktu dan uang.
ASR sebagai metrik yang menyesatkan
Bayangkan dua metode serangan. Yang pertama mencoba ratusan variasi prompt hingga salah satunya berhasil. Yang kedua menggunakan templat yang sudah teruji dan mendapatkan hasil dalam tiga percobaan. Jika keduanya memiliki persentase keberhasilan yang sama, saat melihat ASR keduanya akan tampak setara. Namun, dalam kondisi nyata, metode kedua jelas lebih berbahaya: lebih cepat, lebih murah, dan meninggalkan lebih sedikit jejak.
Justru karena itulah perbandingan hanya berdasarkan ASR menyerupai kompetisi menembak di mana satu orang menembak dari jarak tiga meter dan yang lain dari tiga puluh meter, tetapi kemenangan diberikan berdasarkan jumlah tembakan yang tepat sasaran. Tanpa memperhitungkan kondisinya, hasilnya tidak bermakna. Untuk jailbreak, kondisi tersebut harus berupa anggaran panggilan ke model.
Fair-ASR: menghitung panggilan
Dalam sebuah makalah terbaru di arXiv, para peneliti mengusulkan protokol Fair-ASR. Intinya adalah membandingkan serangan dengan jumlah panggilan target maksimum yang sama. Panggilan target adalah permintaan yang dikirim langsung ke model yang diserang: prompt dikirim, respons diterima. Batasan ini mudah dikontrol, sama untuk semua metode, dan tidak memerlukan pengetahuan tentang internal model.
Mengapa ini penting? Beberapa metrik mencoba memperhitungkan kompleksitas komputasi, misalnya melalui FLOPS. Namun, untuk model tertutup dan proprietary, perkiraan semacam itu tidak akurat. Sementara itu, jumlah panggilan adalah indikator yang langsung dan mudah dipahami. Jika satu serangan berhasil dalam 10 permintaan, dan serangan lain membutuhkan 1000, maka dengan anggaran 10, serangan kedua tidak akan pernah terjadi.
Pada saat yang sama, para peneliti mengusulkan untuk memantau secara terpisah apa yang disebut panggilan penyerang — permintaan ke alat bantu, seperti model bahasa lain yang menghasilkan prompt. Ini memungkinkan gambaran lengkap terlihat: pertama, berapa banyak permintaan yang dikirim ke model target; kedua, berapa banyak sumber daya tambahan yang dibutuhkan.
Apa yang berubah dalam perbandingan yang jujur
Para penulis mengevaluasi ulang 11 serangan yang dikenal menggunakan Fair-ASR dan menemukan bahwa peringkatnya berubah drastis tergantung pada anggaran yang dialokasikan. Serangan yang tampak kuat dengan seratus panggilan bisa menjadi lemah dengan lima panggilan, dan sebaliknya. Ini berarti kesimpulan lama tentang efektivitas setidaknya tidak lengkap.
Yang juga tidak terduga adalah metode sederhana tidak hilang begitu saja. Gangguan acak pada prompt dan templat yang disusun secara manual tetap sangat kompetitif ketika akses ke model target terbatas. Metode-metode ini tidak memerlukan sumber daya komputasi besar dan bekerja hampir seketika.
Sementara itu, serangan yang dikendalikan LLM, di mana model bantu merancang sendiri variasi untuk menembus pertahanan, menunjukkan hasil yang lebih buruk. Serangan-serangan ini menghabiskan banyak panggilan baik ke model target maupun ke generasi mereka sendiri. Tidak satu pun dari serangan jenis ini yang diuji terbukti efektif dalam kedua indikator sekaligus. Entah hasilnya dicapai dengan anggaran besar, atau serangan terlalu mahal dalam panggilan bantu.
ReCode: serangan efektif yang terinspirasi dari penelitian
Kesenjangan antara efektivitas yang diinginkan dan biaya nyata ini mendorong para peneliti untuk menciptakan metodologi mereka sendiri — serangan komposisional ReCode. Serangan ini menggunakan penulisan ulang desensitisasi: permintaan berbahaya asli dirumuskan ulang agar tampak netral dan tidak memicu reaksi pertahanan. Kemudian, dua primitif sederhana dan murah yang telah terbukti baik dalam evaluasi ulang Fair-ASR digunakan.
Hasilnya terlihat kuat. Dengan anggaran hanya 20 panggilan target, ReCode mencapai 85% keberhasilan pada GPT-5, dan rata-rata hanya 7,19 panggilan ke alat bantu yang dihabiskan untuk setiap permintaan. Sebagai perbandingan, banyak serangan lain hampir tidak berguna dengan anggaran terbatas seperti itu. Dan serangan yang dapat membanggakan indikator sebanding biasanya membutuhkan sumber daya bantu berkali-kali lipat lebih banyak.
Kesimpulan
Penelitian ini memberikan sinyal yang jelas: mengevaluasi serangan hanya berdasarkan rasio percobaan yang berhasil tidak lagi dapat diterima. Diperlukan titik acuan yang seragam, dan jumlah panggilan ke model target adalah ukuran yang paling transparan dan universal di antara yang tersedia. Fair-ASR menawarkan pendekatan semacam itu, dan pendekatan ini dapat menjadi standar untuk perbandingan di masa depan.
Bagi mereka yang melindungi model, ada kesimpulan praktis yang penting: jangan terpaku pada serangan kompleks dengan kecerdasan buatan sebagai penyerang. Metode sederhana dan murah — gangguan acak, templat — tetap menjadi ancaman nyata dengan sumber daya terbatas. Ketahanan terhadap metode-metode inilah yang harus diuji terlebih dahulu. Serangan kompleks yang dikendalikan LLM mungkin terlihat mengesankan dalam laporan laboratorium, tetapi dalam kondisi nyata serangan tersebut terlalu mahal dan tidak seberbahaya yang terlihat.
