Verifikasi kandidat lebih mahal daripada generasinya: honeypot untuk melawan pencarian kerentanan berbasis LLM

9 November 20267 tampilan

Karya ini mengulas asimetri biaya dalam pencarian bug oleh agen: menghasilkan kandidat itu murah, sedangkan mengonfirmasinya melalui analisis keterjangkauan, eksekusi, dan PoC membutuhkan sebagian besar anggaran, sehingga verifikasi dapat dijadikan sasaran pertahanan tersendiri. RedHerring yang diusulkan—umpan yang disesuaikan dengan repositori dan dilengkapi sertifikat tertutup—mengurangi jumlah kerentanan nyata yang ditemukan sebesar 38,7–60,4% dengan biaya yang sama di 33 proyek OSS-Fuzz; bahkan setelah agen diperingatkan, penurunannya tetap mencapai 37,2%.

Verifikasi kandidat lebih mahal daripada generasinya: honeypot untuk melawan pencarian kerentanan berbasis LLM

Pengujian Hipotesis sebagai Sumber Daya Terbatas

Agen LLM otonom mencari kerentanan di tingkat repositori. Mereka mengajukan banyak hipotesis. Dengan anggaran terbatas, agen hanya memeriksa sebagian hipotesis tersebut.

Pengujian hipotesis mencakup beberapa tahap:

  • analisis keterjangkauan;
  • eksekusi kode;
  • pembuatan proof-of-concept.

Tindakan-tindakan ini lebih mahal daripada mengajukan hipotesis. Karena itu, pencarian kerentanan menjadi proses pengujian selektif. Biaya pengujian membentuk permukaan pertahanan tersendiri.

Kriteria praktis: anggaran pertahanan perlu dinilai berdasarkan biaya untuk mengonfirmasi kandidat, bukan berdasarkan jumlah hipotesis yang dihasilkan.

Umpan sebagai Objek Bersertifikat

RedHerring menambahkan umpan yang keamanannya dapat disertifikasi. Umpan mengalihkan upaya pengujian dari kerentanan nyata. Setiap umpan menggabungkan dua elemen:

  • rangkaian kerentanan yang diturunkan dari CVE; elemen ini menarik upaya pengujian;
  • tautan penghubung palsu; akibatnya, sink berbahaya tetap tidak dapat dijangkau.

Sertifikat privat memungkinkan pihak pertahanan memverifikasi sifat ini secara efisien. Menetapkan fakta yang sama dari repositori yang dipublikasikan mengharuskan penyelesaian masalah yang sulit secara komputasi.

Tugas verifikasiPersyaratan
Konfirmasi oleh pihak pertahanansertifikat privat
Menetapkan fakta yang sama dari repositori yang dipublikasikanpenyelesaian masalah yang sulit secara komputasi

RedHerring menyesuaikan setiap umpan dengan repositori target. Umpan terlihat seperti logika program biasa.

Kriteria praktis: umpan efektif jika pihak pertahanan dapat mengonfirmasi keamanannya dengan sertifikat, sementara agen terpaksa menghabiskan anggaran untuk mengujinya.

Hasil Pengujian

Pengujian dilakukan pada 33 proyek OSS-Fuzz, 70 instance evaluasi, dan lima model. Anggarannya sama.

Kondisi pengujianHasil
Anggaran setara, 33 proyek OSS-Fuzz, 70 instance evaluasi, lima modelpengurangan kerentanan nyata yang ditemukan sebesar 38,7–60,4%
Agen secara eksplisit diberi tahu tentang umpanpengurangan sebesar 37,2% dibandingkan baseline yang diberi informasi

Analisis lintasan menunjukkan adanya beban tambahan:

  • agen menghabiskan 30,6–51,5% completion tokens untuk menguji umpan;
  • diperkirakan 32,5–49,9% waktu eksekusi dihabiskan untuk pengujian yang sama.

Agen yang diberi informasi menyesuaikan strategi pencariannya. RedHerring tetap mengurangi jumlah kerentanan yang ditemukan. Para penulis menyatakan bahwa efektivitas metode ini tidak bergantung pada kerahasiaan umpan.

Kriteria praktis: umpan tetap efektif meskipun diungkapkan, sehingga pertahanan bertumpu pada struktur umpan, bukan pada penyembunyiannya.

Kriteria Penerapan untuk Pertahanan Repositori

Saat menerapkan umpan, beberapa kondisi perlu diperiksa:

  • konfirmasi kandidat diperhitungkan sebagai sumber daya pertahanan tersendiri;
  • umpan mencakup rangkaian kerentanan yang diturunkan dari CVE dan menarik upaya pengujian;
  • tautan penghubung palsu membuat sink berbahaya tetap tidak dapat dijangkau;
  • pihak pertahanan menyimpan sertifikat privat untuk memverifikasi sifat tersebut dengan cepat;
  • umpan disesuaikan dengan logika biasa dari repositori target;
  • porsi completion tokens dan waktu eksekusi yang digunakan untuk menguji umpan diukur;
  • kerahasiaan tidak dianggap sebagai syarat wajib: agen yang diberi informasi mengubah strategi, tetapi efeknya tetap bertahan.

Kriteria pemilihan: umpan efektif jika pihak pertahanan dapat dengan cepat mengonfirmasi sifatnya menggunakan sertifikat, sementara agen menghabiskan anggaran untuk mengujinya. Jika umpan tidak menarik upaya pengujian atau tidak dapat diverifikasi dengan cepat oleh pihak pertahanan, umpan tersebut tidak menjalankan fungsi pertahanan.

Pertanyaan yang sering ditanyakan

Bahan terkait

Semua bahan
Pemeriksaan halusinasi LLM melalui tampilan sumber SQL tanpa fine-tuning
Berita

Pemeriksaan halusinasi LLM melalui tampilan sumber SQL tanpa fine-tuning

Penelitian ini menguji apakah LLM dapat memanfaatkan keterampilan simbolik dasar—menyusun basis data SQL dari dokumen sumber—untuk melakukan grounding ke sumber tanpa supervisi dalam deteksi halusinasi. Pada RAGTruth dan DiaHalu, pipeline neuro-simbolik ini lebih akurat daripada prediksi langsung dan sebanding dengan metode mutakhir, tanpa memerlukan fine-tuning khusus domain.

9 November 2026
MathAdv: Apa yang Tersembunyi di Balik Akurasi Akhir Pembuktian Mesin
Berita

MathAdv: Apa yang Tersembunyi di Balik Akurasi Akhir Pembuktian Mesin

Kumpulan tugas diagnostik dari 13 bidang matematika tingkat universitas dan pascasarjana ini mengevaluasi sistem pembuktian otomatis di Lean 4 tidak hanya berdasarkan hasil akhir, tetapi juga penguasaan materi, kualitas penalaran informal, dan ketahanan terhadap perumusan ulang soal. Analisis per komponen menunjukkan bahwa menerjemahkan soal ke dalam bentuk formal masih menjadi kendala utama, sementara tingkat keberhasilan sangat bergantung pada bidang matematika dan cara soal dirumuskan.

9 November 2026
AffordanceWAM: affordance sebagai perantara antara prediksi adegan dan kendali manipulator
Penelitian

AffordanceWAM: affordance sebagai perantara antara prediksi adegan dan kendali manipulator

Karya ini menjelaskan model generatif yang secara bersamaan memprediksi observasi RGB masa depan, medan skalar dan peta panas affordance, serta perintah robot kontinu, dengan memanfaatkan video manusia untuk memperluas keragaman interaksi tanpa anotasi tindakan dan retargeting. Pada RoboCasa, CALVIN ABC→D, dan tugas dunia nyata, pendekatan ini memberikan peningkatan yang konsisten dibandingkan baseline yang hanya menggunakan RGB dan yang hanya menggunakan data robot.

9 November 2026
Verifikasi kandidat lebih mahal daripada generasinya: honeypot untuk melawan pencarian kerentanan berbasis LLM