Memori sebagai Target Serangan Baru
Saat kita berkomunikasi dengan chatbot, biasanya ia hanya mengingat percakapan saat ini. Namun, agen generasi berikutnya semakin sering dilengkapi dengan memori jangka panjang — subsistem yang menyimpan fakta tentang pengguna, preferensi, dan interaksi sebelumnya. Tanpa memori ini, sulit membayangkan asisten yang benar-benar berguna: model tanpa konteks akan cepat kehilangan alur percakapan. Memori telah menjadi semacam "basis pengetahuan perusahaan" bagi AI. Justru karena itulah memori menjadi target yang menarik bagi para penyerang.
Pada konferensi COLM 2026, dipresentasikan sebuah penelitian yang menjelaskan kelas ancaman baru — InjecMEM. Secara singkat: penyerang cukup mengirimkan satu pesan yang dirancang khusus kepada agen untuk mengambil alih kendali atas memorinya dalam waktu yang lama. Tidak diperlukan akses ke penyimpanan, tidak diperlukan hak baca atau tulis — injeksi terjadi secara alami, melalui percakapan itu sendiri.
Bagaimana hal ini mungkin terjadi? Agen modern sering bekerja dengan skema "cari dulu, jawab kemudian". Agen mengambil dari memori semua yang mirip dengan pertanyaan pengguna saat ini, lalu menghasilkan jawaban berdasarkan fragmen yang ditemukan. Oleh karena itu, jika sebuah catatan berisi instruksi tersembunyi masuk ke dalam memori, maka saat topik yang sama diakses kembali, model akan mendasarkan jawabannya pada catatan tersebut. Dengan begitu, satu permintaan yang tampak tidak berbahaya dapat berubah menjadi bom waktu.
Bagaimana Injeksi Bekerja
Pesan berbahaya dalam paradigma InjecMEM terdiri dari dua bagian — jangkar dan perintah adversarial. Jangkar mencakup sinyal tematik yang dirancang agar pencarian di masa depan hampir pasti menemukan catatan yang terinfeksi berdasarkan topik yang relevan. Pada dasarnya, jangkar membuat catatan menjadi sangat relevan untuk pertanyaan target — bahkan jika pertanyaan dirumuskan secara berbeda dari saat injeksi.
Komponen kedua adalah perintah. Ini adalah urutan token pendek yang aktif ketika catatan diambil dari memori. Tujuannya adalah mengarahkan generasi jawaban ke arah yang telah ditentukan sebelumnya. Namun, agar serangan menjadi praktis, perintah tidak boleh hancur saat konteks berubah. Oleh karena itu, perintah dioptimalkan dengan mempertimbangkan ketidakpastian: dipilih formulasi yang tetap efektif baik dalam prompt yang panjang, di tengah banyak catatan lain, maupun pada berbagai posisi penyisipan.
Bagaimana Perintah Dilatih
Memilih perintah universal adalah tugas yang tidak sepele. Para penulis menggunakan pencarian koordinat gradien: metode ini secara berurutan mengubah token sambil mengevaluasi seberapa kuat setiap varian meningkatkan efek yang diinginkan. Pelatihan dilakukan pada banyak templat prompt sintetis dan posisi penyisipan acak, sehingga perintah belajar bekerja tidak hanya dalam satu skenario, tetapi dalam berbagai kondisi.
Selain itu, para penulis memperluas metode ini untuk beberapa model dasar. Perintah dilatih secara bersama-sama untuk berbagai LLM, yang meningkatkan portabilitasnya. Penyerang tidak perlu mengetahui sebelumnya model apa yang digunakan di balik agen — injeksi kemungkinan besar akan berhasil juga pada arsitektur lain.
Apa yang Ditunjukkan oleh Evaluasi
Eksperimen dilakukan pada beberapa sistem memori dan model dasar. InjecMEM menunjukkan keandalan yang tinggi: catatan yang terinfeksi secara konsisten ditemukan berdasarkan topik target, dan agen memberikan jawaban persis seperti yang telah ditanamkan oleh penyerang. Yang paling penting, efeknya bertahan bahkan saat terjadi pergeseran memori — ketika catatan-catatan baru yang tidak terkait secara bertahap menumpuk di penyimpanan. Artinya, satu injeksi yang berhasil dapat memengaruhi perilaku agen untuk waktu yang lama.
Serangan ini juga ternyata sangat presisi. Serangan tidak memengaruhi permintaan yang tidak terkait dengan target: jika pengguna bertanya tentang hal lain, catatan yang terinfeksi tidak aktif dan logika jawaban tidak terganggu. Di satu sisi, ini membuat serangan hampir tidak terlihat oleh pengguna biasa. Di sisi lain, ini menegaskan bahwa dampak berbahaya dapat ditargetkan secara tepat pada topik tertentu.
Cara Melindungi Diri
Hasil penelitian ini merupakan sinyal serius bagi para pengembang sistem agen. Memori biasanya dianggap sebagai penyimpanan fakta yang netral, tetapi praktis tidak terlindungi dari "peracunan". Filter klasik memeriksa pesan masuk untuk instruksi eksplisit, sementara InjecMEM tampak seperti teks biasa tanpa perintah langsung. Perlindungan harus bergeser ke sisi pengambilan: kandidat dari memori perlu divalidasi tambahan sebelum disisipkan ke dalam konteks model.
Langkah-langkah organisasional juga berguna — misalnya, memisahkan memori menjadi zona tepercaya dan tidak tepercaya, membatasi pengaruh catatan baru, dan secara teratur "membersihkan" elemen yang mencurigakan. Penting bahwa para penulis menyediakan kerangka kerja serangan yang dapat direproduksi, yang berarti para peneliti keamanan mendapatkan alat untuk mengembangkan dan menguji tindakan penanggulangan.
Kerentanan memori pada agen LLM adalah bidang yang masih muda dan belum banyak dieksplorasi. InjecMEM dengan jelas menunjukkan betapa berbahayanya subsistem yang diremehkan. Dan semakin banyak memori yang kita berikan kepada agen kita, semakin besar perhatian yang harus kita berikan pada apa yang masuk ke dalamnya.
