Apa Bahaya "Lapisan Kontrol" bagi Agen LLM
Model bahasa modern jarang bekerja sendiri. Lebih sering, model tersebut digunakan di dalam harness agen — lapisan perantara yang memberi model akses ke alat, ekstensi, memori jangka panjang, izin, dan tindakan eksternal. Lapisan inilah yang menentukan apa yang bisa dan tidak bisa dilakukan model.
Masalahnya, tolok ukur keamanan yang ada biasanya hanya menguji skenario serangan tertentu atau serangkaian kondisi operasional yang terbatas. Akibatnya, sulit untuk memahami pada tahap mana tepatnya kegagalan terjadi dalam kerja harness: saat konfigurasi, saat pemanggilan alat, atau saat pemulihan setelah insiden. Para peneliti mengusulkan HarnessRisk — sebuah tolok ukur yang melihat keamanan harness agen secara menyeluruh, di semua tahap siklus hidupnya.
Enam Fase Siklus Hidup Harness
Para penulis penelitian membagi keamanan harness menjadi enam fase operasional:
- Harness Configuration — pengaturan parameter dan hak akses;
- Capability Extension — menghubungkan kemampuan dan ekstensi baru;
- Runtime Operation — menjalankan tugas secara real-time;
- State Persistence — menyimpan dan memulihkan status;
- Action Control — kontrol atas tindakan dan alat;
- Incident Recovery — respons terhadap kegagalan dan pemulihan setelah insiden.
Setiap fase memiliki area tanggung jawabnya sendiri, dan kerentanan dapat muncul di fase mana pun. Pembagian inilah yang memungkinkan perbandingan bagaimana harness yang berbeda menangani serangan dalam kondisi yang sama.
Apa yang Ada di Dalam HarnessRisk: Skenario dan Metrik
Tolok ukur ini berisi 128 skenario terisolasi. Setiap skenario dirancang dengan cerdik: model diberikan tugas pengguna yang aman, tetapi di dalam artefak alur kerja yang tidak tepercaya tersembunyi instruksi yang bermusuhan. Model harus menyelesaikan tujuan yang sah tanpa menyerah pada serangan yang tertanam di dalam artefak.
Setiap lintasan dievaluasi berdasarkan empat metrik:
- Utility — seberapa baik tugas awal diselesaikan;
- Attack Success Rate — proporsi serangan yang berhasil dilakukan;
- Persistence — berapa lama efek serangan bertahan;
- Detection — seberapa efektif sistem mendeteksi risiko.
Pendekatan ini memungkinkan kita melihat tidak hanya "berhasil diretas atau tidak", tetapi juga harga keamanan terhadap utilitas model.
Apa yang Ditunjukkan oleh Pengujian
Eksperimen dilakukan pada tiga harness, enam model bahasa, dan 14 kombinasi model dan harness. Hasilnya tidak seragam: tingkat keberhasilan serangan bervariasi dari 12,6% hingga 80,9%, sementara Utility tetap berada di kisaran 75,0% hingga 97,6%. Secara sederhana, model yang sama bisa hampir kebal dalam satu konfigurasi dan jelas lemah di konfigurasi lain.
Fase paling rentan di ketiga harness adalah Harness Configuration. Serangan sering berhasil bukan karena eksploitasi yang rumit, tetapi karena dalam alur kerja yang "diizinkan", parameter yang memengaruhi keamanan dapat diubah. Ini adalah sinyal yang mengkhawatirkan: bahkan harness yang tampak benar pun dapat memungkinkan penyerang mengubah aturan main.
Hasil yang menarik juga terkait dengan pengenalan risiko. Beberapa konfigurasi mendeteksi serangan di lebih dari 90% proses, tetapi tetap membiarkan proporsi serangan berhasil yang signifikan. Artinya, model "memahami" bahwa sesuatu yang berbahaya sedang terjadi, tetapi tidak mengubah pemahaman itu menjadi perilaku yang aman. Kesadaran akan ancaman saja tidak melindungi sistem.
Kesimpulan: Keamanan Tidak Bisa Diukur "Secara Rata-rata"
Pelajaran utama dari HarnessRisk adalah bahwa keamanan sistem agen sangat bergantung pada kombinasi spesifik model dan harness. Penilaian rata-rata seperti "model aman" atau "harness aman" tidak banyak berarti jika tidak memperhitungkan konfigurasi tempat mereka bekerja.
Agen perlu dievaluasi di beberapa area tanggung jawab harness sekaligus — dari konfigurasi awal hingga pemulihan setelah insiden. Dan secara terpisah, perlu diuji bagaimana model berperilaku saat menghadapi serangan yang tertanam dalam artefak kerja biasa. Hanya dengan cara ini kita dapat melihat kelemahan yang dalam tolok ukur klasik tetap tidak terlihat.
