Agen AI modern mampu menjalankan rangkaian tindakan panjang: memanggil fungsi, memproses respons layanan, mengambil keputusan antara. Sulit bagi pengamat untuk mengikuti setiap langkah, sehingga untuk kontrol keamanan biasanya digunakan monitor otomatis. Tetapi bagaimana jika setiap langkah terlihat sempurna, sementara seluruh rangkaian perlahan menyimpang dari apa yang diminta pengguna?
Mengapa pemeriksaan lokal tidak menyelamatkan
Agen jangka panjang dapat pada setiap langkah memanggil alat yang benar dengan argumen yang masuk akal, dan tetap menyimpang tanpa terdeteksi: alih-alih tugas awal, ia mulai menyelesaikan tugas yang lebih luas atau terkait, "menarik" bukti yang tidak diberikan pengguna. Akumulasi penyimpangan semacam ini disebut penyimpangan lintasan (trajectory drift). Sistem pemeriksaan yang ada umumnya melihat kesesuaian lokal dari tindakan individual, atau mengeluarkan vonis umum untuk seluruh lintasan, atau menilai risiko total. Masalahnya, mereka tidak menganalisis prefiks antara — bagaimana hubungan antara lintasan dan tugas berkembang seiring pelaksanaannya.
Karya terbaru di arXiv (2608.17718) menjelaskan pendekatan yang mencoba menutup celah ini. Para penulis mengusulkan konsep "kepercayaan ontologis": ini adalah properti bukan dari seluruh jalur, melainkan dari setiap prefiks lintasan, dan properti yang didefinisikan relatif terhadap tugas awal.
Tiga komponen kepercayaan
Untuk mendeteksi penyimpangan tepat waktu, kepercayaan perlu dipecah menjadi komponen-komponennya. Inilah yang dilakukan monitor RGE — namanya berasal dari Role, Goal, Evidence. Secara formal, kepercayaan terhadap prefiks lintasan dinilai berdasarkan tiga sumbu:
- Peran — apakah agen tetap dalam batas wewenang yang diberikan pengguna, atau secara bertahap "menunjuk" dirinya ke peran yang lebih luas.
- Tujuan — sejauh mana arah pergerakan saat ini sesuai dengan tujuan yang diotorisasi, dan tidak digantikan oleh tujuan yang mirip namun terkait.
- Bukti — apakah agen mengandalkan data yang benar-benar ada dalam observasi, atau pada asumsi implisit dan informasi yang tidak diminta.
Kontrol tiga lapis ini memungkinkan untuk membedakan, misalnya, agen yang berhenti menjalankan tugas dari agen yang hanya mengubah cara pelaksanaan yang diizinkan.
Bagaimana pemeriksaan bekerja
Detail penting: RGE bukanlah "kotak hitam" yang menilai lintasan dengan satu model menyeluruh. Model bahasa di sini hanya digunakan untuk mendapatkan representasi terstruktur dari tugas dan langkah-langkah individual. Pembaruan status kepercayaan, proyeksi ke tiga komponen, dan keputusan intervensi bersifat deterministik. Berkat ini, hasilnya adalah lintasan kepercayaan yang dapat direproduksi: dapat dikatakan secara tepat kapan dan karena komponen mana kecurigaan muncul. Ini adalah keputusan rekayasa penting karena mengurangi ketergantungan pada keinginan model besar dan menyederhanakan audit.
Seberapa efektif ini
Untuk menguji pendekatan ini, para penulis mengumpulkan korpus lintasan berdasarkan tiga lingkungan berbeda: OSWorld, FinanceBench, dan EICU-AC. Korpus ini mencakup eksekusi jinak (normal), contoh penyimpangan dengan prefiks berpasangan, dan apa yang disebut kegagalan "pseudo-konsisten" — ketika tindakan terlihat logis tetapi sebenarnya salah.
Pada materi ini, RGE mengungguli baseline berbasis aturan yang diadaptasi, model judge, dan shield dalam hal deteksi penyimpangan pada prefiks. Dengan dua model penilai yang lebih besar, ia mencapai lebih dari 93% Drift F1 pada setiap benchmark, sambil mempertahankan cakupan kasus jinak tidak kurang dari 95,8%. Dengan kata lain, ia jarang melewatkan penyimpangan nyata dan tidak membebani pekerjaan normal dengan alarm palsu.
Namun, para peneliti dengan jujur juga mengkarakterisasi keterbatasannya. Kegagalan "pseudo-konsisten" tetap menjadi kasus sulit: deteksinya sangat bergantung pada apakah hasil pelaksanaan tugas terlihat secara eksternal. Jika tidak ada konfirmasi eksplisit keberhasilan atau kegagalan di dunia luar, monitor tidak selalu dapat membedakan penyimpangan yang disembunyikan dengan rapi dari ketidakpastian biasa. Ini bukan kekurangan — ini adalah batas struktural dari pendekatan apa pun yang tidak memiliki akses ke semantik penuh dunia.
Kesimpulan
Pelajaran utama dari karya ini adalah bahwa yang perlu diawasi bukan hanya langkah-langkah individual, tetapi juga bentuk lintasan secara keseluruhan. Pendekatan praktisnya bisa seperti ini: untuk setiap prefiks, ajukan pertanyaan apakah peran agen telah berubah, apakah tujuan telah digantikan, dan apakah ada bukti "asing". Ketiga pertanyaan inilah yang menjadi dasar pengawasan yang lebih transparan dan dapat diverifikasi untuk agen jangka panjang. Dan, kemungkinan besar, di masa depan "kepercayaan ontologis" akan menjadi metrik yang sama lazimnya untuk agen AI seperti akurasi atau latensi saat ini.
