Pengujian kebijakan agen tanpa bergantung pada prompt: lingkungan eksekusi, kumpulan pengujian, dan filter yang dapat dilatih

20 November 20260 tampilan

Karya ini menawarkan kerangka kerja yang mengubah lingkungan eksekusi menjadi serangkaian skenario untuk menguji kebijakan agen dan memungkinkan komponen perlindungan ditingkatkan secara iteratif. Filter yang dilatih mengurangi tingkat pelanggaran yang berhasil sebesar 40–44% dibandingkan dengan hanya mengandalkan instruksi dalam prompt, dan lebih jarang keliru menolak permintaan yang aman.

Pengujian kebijakan agen tanpa bergantung pada prompt: lingkungan eksekusi, kumpulan pengujian, dan filter yang dapat dilatih

Batas prompt: mengapa instruksi saja tidak cukup

Dalam deployment agen khusus, kebijakan menetapkan aturan untuk alat, sumber daya, dan kondisi eksekusi. Memasukkan aturan ini ke dalam prompt tidak menjamin pencegahan pelanggaran yang andal. Prompt menetapkan teks, tetapi tidak memeriksa pemanggilan yang sebenarnya. Dalam semua kasus pelanggaran, alat yang diizinkan tetap digunakan. Artinya, yang perlu diperiksa adalah argumen, sumber daya, dan konteks, bukan hanya nama alat.

Untuk melatih mekanisme pengaman, diperlukan contoh pemanggilan yang mematuhi kebijakan dan yang melanggarnya. Tanpa pasangan semacam itu, pemeriksaan hanya mengandalkan teks aturan, bukan perilaku yang teramati.

Kriteria praktis: perlakukan prompt hanya sebagai pembawa aturan. Bangun pemeriksaan berdasarkan data pemanggilan dan hasilnya.

Lingkungan eksekusi: pemeriksaan berdasarkan pemanggilan yang sebenarnya

AgentPolicyForge menggunakan lingkungan eksekusi untuk membuat pengujian kebijakan acuan dan melatih mekanisme pengaman secara iteratif. Lingkungan tersebut menjalankan pemanggilan alat dan mencatat hasilnya. Kepatuhan terhadap kebijakan ditentukan berdasarkan hasil tersebut. Ini berbeda dari membaca prompt: pemeriksaan dilakukan berdasarkan eksekusi yang sebenarnya.

Elemen utama pemeriksaan:

  • menjalankan pemanggilan di lingkungan;
  • mencatat hasil pemanggilan;
  • mencocokkan argumen, sumber daya, dan konteks dengan kebijakan;
  • menggunakan alat yang diizinkan dalam contoh pelanggaran.

Kesimpulan: pengujian acuan harus dapat dieksekusi. Kriteria pemilihan lingkungan adalah kemampuan untuk menyimpan hasil dan memeriksa argumen, sumber daya, serta konteks.

PolicyGym: skenario pelatihan dan pengujian tertunda

Berdasarkan kerangka kerja ini, dibuat PolicyGym — kumpulan data yang mencakup sepuluh keluarga kebijakan. Kumpulan ini mencakup 698 skenario untuk menghasilkan data pelatihan. Secara terpisah, tersedia 254 skenario tertunda untuk set pengujian.

Bagian kumpulanTujuanJumlah
Skenario untuk menghasilkan data pelatihanMenyiapkan contoh pelatihan698
Skenario tertundaSet pengujian254

Skenario tertunda telah ditinjau oleh manusia. Kriteria praktis: pisahkan skenario pelatihan dan skenario tertunda. Set pengujian harus terpisah dari proses pembuatan data pelatihan.

Filter terlatih dibandingkan pengaturan diri agen

Di PolicyGym, dua pendekatan dibandingkan: pengaturan diri agen berdasarkan kebijakan dan mekanisme pengaman terlatih. Konfigurasi akhir dengan mekanisme pengaman menghasilkan penurunan relatif tingkat keberhasilan serangan sebesar 40–44%. Konfigurasi ini juga menghasilkan lebih sedikit penolakan keliru terhadap permintaan yang tidak berbahaya dibandingkan dengan hanya menerapkan kebijakan dalam prompt.

KonfigurasiYang digunakanHasil berdasarkan fakta
Hanya kebijakan dalam promptTeks kebijakanDasar perbandingan
Konfigurasi akhir dengan mekanisme pengamanFilter terlatihPenurunan serangan yang berhasil sebesar 40–44%; lebih sedikit penolakan keliru

Kriteria praktis: bandingkan mekanisme pengaman dengan dasar prompt. Amati sekaligus serangan yang berhasil dan penolakan keliru.

Siklus iteratif: serangan, pelatihan lanjutan, pembaruan arsip

Proses pembuatan contoh mendukung pelatihan mekanisme pengaman secara iteratif. Penyerang menghasilkan permintaan dengan menggunakan strategi yang telah diekstrak. Mekanisme pengaman menjalani pelatihan lanjutan dengan contoh seimbang yang telah diperiksa di lingkungan. Pelatihan meningkatkan efektivitas penerapan kebijakan, bahkan dengan arsip yang tetap.

Pembaruan arsip memberikan dampak tambahan. Pembaruan ini mengurangi keberhasilan serangan dalam domain dibandingkan dengan membiarkan arsip tetap tanpa perubahan.

Tahapan siklus:

  1. Ekstrak strategi serangan.
  2. Buat permintaan dari penyerang.
  3. Periksa contoh di lingkungan eksekusi.
  4. Seimbangkan contoh dan lakukan pelatihan lanjutan pada mekanisme pengaman.
  5. Perbarui arsip serangan.

Kriteria praktis: masukkan siklus pembaruan arsip dan pemeriksaan contoh di lingkungan. Arsip tetap sudah memberikan dampak pelatihan. Pembaruan menambahkan penurunan keberhasilan serangan dalam domain.

Pertanyaan yang sering ditanyakan

Bahan terkait

Semua bahan
PerMIT: integritas memori jangka panjang agen LLM dan kepercayaan kolektif yang dapat diverifikasi mesin
Berita

PerMIT: integritas memori jangka panjang agen LLM dan kepercayaan kolektif yang dapat diverifikasi mesin

Penulis mengusulkan arsitektur PerMIT yang membatasi masuknya data tak tepercaya dari lingkungan ke tindakan sensitif agen melalui antarmuka memori yang terbatas; dua teorema yang diverifikasi dengan Lean 4 dan akumulasi putusan komunitas mengurangi risiko peracunan tanpa menambah beban bagi pengguna individu. Dalam eksperimen pada Trojan Hippo dan τ²-bench, skema ini tidak mencatat injeksi yang berhasil dengan verifikator ringan dan meningkatkan hasil agen baru pada tugas yang ditunda.

20 November 2026
Sistem AI multiagen komposit dengan siklus evidensi untuk perencanaan proton pada tumor kepala dan leher
Berita

Sistem AI multiagen komposit dengan siklus evidensi untuk perencanaan proton pada tumor kepala dan leher

Karya ini menguraikan integrasi kebijakan PPO terlatih yang menghasilkan beberapa opsi rencana dengan agen LLM yang melakukan klarifikasi melalui dialog, disertai pemeriksaan metrik klinis dan batasan; berdasarkan data dari 21 pasien, Qwen3-14B yang telah disesuaikan lebih baik dalam mengikuti instruksi dan membantu menggeser kompromi agar lebih mengutamakan tujuan prioritas. Kesimpulan praktisnya: perencanaan DRL otomatis dapat dilengkapi dengan dialog terarah, sambil tetap mempertahankan kendali atas batasan-batasan yang saling bersaing.

20 November 2026
Seleksi komputasional alih-alih coba-coba empiris: pendekatan baru untuk material baterai
Penelitian

Seleksi komputasional alih-alih coba-coba empiris: pendekatan baru untuk material baterai

Materi ini menunjukkan bagaimana basis data komputasi, machine learning, dan model generatif mempersempit pilihan komposisi yang menjanjikan, sementara laboratorium otomatis mempercepat pengujiannya; hasil akhirnya tetap bergantung pada sintesis dan pengujian, karena prediksi dapat berbeda dari konduktivitas yang sebenarnya.

20 November 2026
Pengujian kebijakan agen tanpa bergantung pada prompt: lingkungan eksekusi, kumpulan pengujian, dan filter yang dapat dilatih