Kehati-hatian yang Berubah Seiring Pengalaman: Metode RATTL untuk Keputusan Aman dalam Ketidakpastian
Ketika sebuah agen bertindak di dunia nyata, ia hampir selalu menghadapi informasi yang tidak lengkap tentang bagaimana lingkungan bekerja. Masalah ini sangat krusial bagi sistem yang harus bekerja secara real-time: robot, kendaraan otonom, atau layanan berbasis model bahasa besar. Bersikap terlalu berhati-hati dengan memperhitungkan semua skenario yang mungkin terjadi adalah hal yang mustahil, sementara perilaku yang terlalu berani dapat menyebabkan kecelakaan. Dibutuhkan keseimbangan, dan justru itulah yang coba ditemukan oleh pendekatan baru yang diusulkan dalam penelitian Deep Kumar Ganguly dan Jan Kretinsky.
Dari Mana Masalah Ini Berasal
Para penulis mempresentasikan karya berjudul «Quantifying Risk Under Evolving Uncertainty: Belief-Dependent Robustness for Safe Sequential Decision Making» (arXiv:2608.17574). Artikel ini diajukan pada Agustus 2026 dan diterima di workshop RobustifAI konferensi IJCAI-ECAI 2026. Fokus utamanya adalah RATTL, atau Risk-Adversarial Total-Reward Learning. Ini adalah metode yang memungkinkan agen mengambil keputusan dengan mengevaluasi risiko dalam kondisi di mana dinamika lingkungan hanya diketahui sebagian.
Ide kunci RATTL adalah bahwa tingkat kehati-hatian tidaklah tetap, melainkan secara langsung bergantung pada seberapa besar ketidakpastian agen terhadap lingkungannya. Jika bukti yang tersedia sedikit — bertindaklah dengan hati-hati. Jika bukti semakin banyak — kita dapat membiarkan diri mengambil tindakan yang lebih berani. Justru adaptivitas inilah yang membedakan metode ini dari pendekatan klasik, di mana tingkat risiko ditetapkan sebelumnya dan tetap tidak berubah.
Cara Kerja Metode: Ketidakpastian sebagai Radius
Pada intinya, RATTL menggunakan posterior Bayesian atas dinamika lingkungan yang tidak diketahui. Sederhananya, agen terus memperbarui pemahamannya tentang bagaimana dunia bekerja — seiring dengan akumulasi observasi. Namun untuk perencanaan, hal ini saja tidak cukup: kita juga perlu memahami seberapa besar kemungkinan pemahaman tersebut bisa keliru.
Solusi para penulis adalah dengan mempertimbangkan himpunan model lingkungan yang mungkin dalam bentuk apa yang disebut Wasserstein-uncertainty set. Radius dari himpunan ini — ukuran seberapa jauh kita mengizinkan penyimpangan dari ekspektasi saat ini — ditetapkan sebagai fungsi monotonik dari posterior. Pada tahap awal, ketika data masih sedikit, radiusnya besar: agen mengizinkan kemungkinan bahwa lingkungan dapat berperilaku hampir dengan cara apa pun. Seiring masuknya bukti, radius menyusut, dan lingkaran «dunia yang mungkin» menyempit.
Mekanisme ini menghasilkan efek interpolasi yang menarik. Pada batas maksimum radius, perilaku agen setara dengan robustness yang menjamin kasus terburuk — strategi yang aman dalam skenario paling tidak menyenangkan. Ketika radius mendekati nol, agen berubah menjadi pengoptimal netral-risiko yang hanya memaksimalkan ekspektasi total reward. Pada titik-titik di antaranya, kita mendapatkan spektrum perilaku yang kontinu — dari yang sangat konservatif hingga yang hampir percaya diri.
Pembangunan kriteria semacam itu bertumpu pada dualitas yang mendasari Entropic Value-at-Risk. Keterkaitan ini memungkinkan penerjemahan pilihan tingkat risiko menjadi pilihan radius ketidakpastian, yang ternyata nyaman secara komputasional dan jelas secara konseptual: alih-alih «koefisien kehati-hatian» yang abstrak, kita bekerja dengan besaran geometris yang dapat diinterpretasikan sebagai deviasi yang diizinkan dari model yang diketahui.
Jaminan dan Keamanan: «Safety Sandwich»
Para penulis tidak berhenti pada heuristik. Mereka menunjukkan bahwa masalah perencanaan dalam RATTL valid di bawah kondisi transience dan compactness ruang keadaan. Ini berarti algoritme tidak «runtuh» pada lintasan tak hingga dan memberikan nilai fungsi utilitas yang bermakna.
Hasil teoretis sentral diberi nama Safety Sandwich — «sandwich keamanan». Nilai RATTL selalu berada di antara dua nilai ekstrem. Dari bawah, ia dibatasi oleh nilai robust yang tidak berinformasi — yaitu estimasi yang akan diperoleh agen yang sama sekali tidak memiliki data dan siap menghadapi skenario terburuk. Dari atas — optimum dengan pengetahuan penuh tentang dinamika. Seiring posterior terkonsentrasi di sekitar model sebenarnya, kesenjangan antara kedua batas ini menyempit, dan estimasi RATTL mendekati optimum. Dengan kata lain, metode ini menjamin bahwa kehati-hatian berlebihan di awal tidak menghasilkan reward yang sangat rendah secara katastropik, dan keyakinan di akhir tidak membuat agen buta terhadap risiko residual.
Perilaku dalam Contoh: dari Abstraksi ke Praktik
Untuk ilustrasi, para penulis mempertimbangkan contoh kanonik dengan bahaya biner — situasi di mana terdapat dua keadaan lingkungan, satu aman dan satu lagi mematikan. Dalam kasus ini, kriteria RATTL yang diinduksi direduksi menjadi Conditional Value-at-Risk dengan tingkat yang ditentukan oleh entropi posterior. Dengan kata lain, semakin «tersebar» distribusi keyakinan agen, semakin ketat ambang kerugian yang ia pilih.
Contoh kerja lainnya menunjukkan perilaku yang menarik: agen menunda tindakan efektif untuk waktu yang lama, menunggu hingga ambang identifikasi yang tajam tercapai. Artinya, ia bersedia menoleransi ketidakoptimalan — misalnya, bergerak lambat atau memilih strategi yang jelas bukan yang paling menguntungkan — asalkan tidak mengambil risiko secara membabi buta. Begitu bukti menjadi cukup meyakinkan, terjadi lompatan kualitatif: agen beralih ke tindakan yang percaya diri. Ini mengingatkan pada perilaku manusia yang di tempat asing pertama-tama berjalan perlahan dan melihat-lihat, lalu mempercepat setelah mengenali jalannya.
Mode kerja seperti ini sangat penting bagi sistem real-time. Para penulis menekankan bahwa RATTL dirancang untuk keamanan agen yang beroperasi dalam kondisi aliran data yang berkelanjutan, termasuk sistem berbasis model bahasa besar. Bagi mereka, ketidakpastian muncul tidak hanya dari lingkungan fisik, tetapi juga dari ketidakpastian dalam perilaku pengguna atau kualitas teks yang diproses.
Mengapa Ini Penting
Kontribusi utama RATTL adalah penolakan terhadap dikotomi kaku «kehati-hatian versus efisiensi». Sebagai gantinya, para penulis mengusulkan untuk melihat keduanya sebagai dua sisi dari satu proses: semakin banyak kita tahu, semakin berani kita bisa bertindak, dan pada saat yang sama kita ingin menjaga hubungan yang eksplisit antara tingkat pengetahuan kita dan risiko yang dapat diterima. Pendekatan semacam itu membuat metode pengambilan keputusan otomatis lebih transparan dan dapat diprediksi, yang penting untuk implementasi praktis.
Pertanyaan tentang kompleksitas komputasional ketika bekerja dengan ruang keadaan yang besar masih terbuka, tetapi fondasi teoretisnya sudah diletakkan. Mungkin dalam waktu dekat kita akan melihat modifikasi RATTL untuk domain-domain spesifik — dari pengendalian drone hingga asisten berbasis AI yang belajar dari pengalaman mereka sendiri, tanpa membahayakan diri mereka sendiri maupun orang lain.
