Agen Android otonom berbasis model bahasa besar semakin sering mengambil alih tindakan rutin pada ponsel pintar: dari memesan meja hingga berkirim pesan di aplikasi perpesanan. Seiring dengan meningkatnya kemampuan mereka, muncul pula kelas ancaman baru. Agen semacam itu menganalisis konten yang muncul di layar — dan konten tersebut tidak selalu tepercaya. Penyerang dapat menyembunyikan instruksi berbahaya di balik antarmuka aplikasi yang tampak biasa saja, dan agen akan menjalankannya, bahkan jika pengguna tidak memintanya. Untuk menguji skenario semacam itu secara sistematis, para peneliti memperkenalkan tolok ukur MobileWorldSafety.
Mengapa Ini Penting
Agen GUI yang dikendalikan LLM telah berkembang dari prototipe laboratorium menuju penggunaan nyata. Namun tidak seperti program klasik, mereka tidak sekadar menjalankan perintah, melainkan menginterpretasikan isi layar. Hal ini membuat mereka rentan terhadap injeksi lingkungan — kategori serangan yang mencakup prompt-injeksi tidak langsung dan instruksi berbahaya yang tertanam dalam antarmuka. Agen dapat menganggap spanduk iklan atau unggahan media sosial sebagai instruksi untuk bertindak dan, misalnya, mentransfer uang atau memublikasikan data pribadi.
Pengujian yang ada untuk agen biasanya berfokus pada fungsionalitas: apakah agen berhasil menyelesaikan tugas, apakah ia menekan tombol dengan benar. Namun pengujian tersebut hampir tidak memodelkan skenario sehari-hari di mana keamanan agen dirusak melalui konteks pengguna biasa. Celah inilah yang coba ditutup oleh tolok ukur baru ini.
Apa Itu MobileWorldSafety
Penulis tolok ukur ini — Sujin Chen, Lijun Li, Tianyi Du, dan Jing Shao — telah mengunggah pracetak di arXiv dengan identifikasi 2608.17659. Dalam karya tersebut dijelaskan 142 tugas berisiko yang dijalankan pada aplikasi Android nyata. Setiap tugas dirancang sedemikian rupa sehingga memiliki indikator risiko yang dapat diverifikasi secara terprogram: dari kondisi akhir sistem dapat diketahui apakah tindakan tidak aman telah terjadi.
Keunikan evaluasinya terletak pada alur dua tahap. Pertama, pemeriksaan sederhana berbasis aturan menyaring kasus yang jelas: misalnya, jika agen mengirim pesan ke nomor yang salah. Jika hasilnya ambigu, hakim LLM akan turun tangan. Pendekatan ini memungkinkan pemisahan kegagalan keamanan dari kegagalan fungsionalitas dan membuat evaluasi dapat direproduksi.
Tolok ukur ini tidak sekadar mendaftar kerentanan, tetapi memberikan metrik: seberapa berhasil konten penyerang membajak kendali atas agen.
Hasil: Masih Mengkhawatirkan
Para peneliti menjalankan enam agen berbeda melalui MobileWorldSafety — baik yang bersifat umum maupun yang dikhususkan untuk tugas GUI. Hasilnya menunjukkan bahwa semuanya tetap sangat rentan: serangan berhasil dalam 40,4% hingga 66,9% kasus. Ini berarti hampir setiap panggilan kedua, atau bahkan setiap panggilan kedua hingga ketiga, dapat berakhir dengan tindakan yang tidak diinginkan.
Temuan khusus dari karya ini adalah bahwa agen sering kehilangan keselarasan keamanan ketika konten berbahaya disajikan dalam bentuk konteks seluler biasa. Dengan kata lain, mereka mengikuti aturan keamanan dengan baik dalam dialog eksplisit, tetapi tidak mengenali bahaya di dalam antarmuka.
Langkah Selanjutnya
MobileWorldSafety dibuat tidak hanya sebagai pengujian, tetapi juga sebagai alat pengembangan: ia memungkinkan penilaian kuantitatif terhadap kerentanan dan pemeriksaan apakah versi agen yang lebih baru menjadi lebih tangguh. Para penulis berharap tolok ukur ini menjadi titik awal bagi penelitian di bidang agen GUI seluler yang aman.
Untuk saat ini, kesimpulannya jelas: sebelum mempercayakan operasi sensitif pada ponsel pintar kepada agen, mereka tidak hanya perlu dilatih fungsionalitasnya, tetapi juga secara khusus dilatih melawan serangan melalui lingkungan. Jika tidak, "asisten cerdas" berisiko berubah menjadi alat penyerang yang bertindak atas nama pemilik perangkat.
