Waktu telah berlalu ketika agen AI hanya dinilai dari hasil akhirnya. Sistem modern bekerja selangkah demi selangkah di lingkungan yang berubah, menetapkan tugas antara, merespons umpan balik, dan meninjau ulang perilaku mereka. Hal ini membuat mereka lebih mirip makhluk hidup daripada program biasa, dan karenanya mereka perlu diuji dengan cara yang berbeda. Para penulis makalah posisi yang diterima untuk dipublikasikan di ICML 2026 menyebut sistem semacam itu sebagai sistem "perilaku" dan mengusulkan untuk mengujinya bukan berdasarkan fakta penyelesaian tugas, melainkan berdasarkan keseluruhan proses tindakan.
Hasil akhir tidak menceritakan bagaimana agen bertindak
Jika kriterianya hanya satu — selesai atau tidak — terlalu banyak detail penting yang tertinggal di luar batas penilaian. Misalnya, agen mungkin berhasil mencapai tujuan melalui lintasan yang sama, tetapi karena alasan yang sangat berbeda: dalam satu kasus ia benar-benar menyusun rencana, dan dalam kasus lain ia hanya menghafal urutan tindakan selama tahap pelatihan. Hasil akhirnya sama, tetapi kemampuannya pada dasarnya berbeda.
Banyak masalah praktis dengan AI memang terlihat seperti ini. Sistem menunjukkan akurasi tinggi pada tes, tetapi dalam kenyataannya menunjukkan perilaku yang tidak diinginkan: mencari "celah" dalam aturan, mengandalkan fitur-fitur sepele, atau bertindak berisiko hanya karena dengan begitu metrik yang diinginkan berhasil diperoleh. Analisis hasil akhir tidak mengatakan apa pun tentang hal ini. Analisis perilaku — justru sebaliknya.
Para psikolog dan ahli zoologi telah lama menghadapi masalah serupa. Jika seekor hewan terlatih melakukan perintah, itu belum berarti ia memahami makna perintah tersebut; respons yang terpelajari dan perilaku yang sebenarnya terlihat sama dari luar. Untuk membedakannya, para ilmuwan tidak melihat pada fakta berhasilnya trik — mereka mengamati prosesnya, mencoba mengubah kondisi, memasukkan gangguan, dan melihat bagaimana sistem merespons. Agen AI layak mendapatkan pendekatan yang sama.
Penilaian perilaku dimulai dengan observasi
Ide kunci dari pendekatan yang diusulkan adalah memperlakukan agen AI sebagai sistem perilaku. Ini berarti peneliti tidak hanya memeriksa jawaban akhir, tetapi juga secara sistematis mempelajari pilihan-pilihan agen dalam berbagai keadaan. Pertanyaannya bukan "apa yang dilakukan agen?", melainkan mengamati dan bertanya "strategi apa yang ia terapkan?", "mengapa satu tindakan dipilih dan bukan yang lain?", "bagaimana agen akan bereaksi terhadap kondisi baru yang tidak ada dalam pelatihan?".
Dalam model ini, penilaian berubah menjadi siklus tiga langkah:
- Observasi. Urutan keputusan agen, lintasan pergerakannya, atau urutan interaksinya dengan lingkungan dicatat. Yang penting adalah mendapatkan bukan sekadar fakta keberhasilan, melainkan gambaran lengkap tentang tindakan.
- Gangguan. Perubahan dilakukan pada kondisi yang biasa: posisi awal yang berbeda, derau acak, objek baru, batasan waktu atau sumber daya. Teknik ini memaksa sistem untuk menunjukkan strategi aslinya.
- Interpretasi. Berdasarkan data yang diperoleh, peneliti membangun hipotesis tentang mekanisme atau heuristik apa yang mengendalikan agen. Hipotesis tersebut dapat diuji dengan gangguan lingkungan baru.
Pendekatan ini mendekatkan pengembangan AI dengan ilmu perilaku, di mana justru reaksi terhadap perubahan lingkungan yang menjadi dasar penilaian proses internal.
Bagaimana memahami apa yang ada di balik tindakan agen
Para penulis laporan mengusulkan tiga arah konkret yang akan menjadi dasar program penelitian baru. Pertama — rekonstruksi strategi pengambilan keputusan dari urutan tindakan. Jika agen telah dilatih, tindakannya harus meninggalkan "jejak" berupa frekuensi pemilihan keadaan tertentu, preferensi untuk jalur pendek, penghindaran zona berbahaya, dan sebagainya. Dari jejak-jejak ini, strategi dapat direkonstruksi bahkan jika algoritme itu sendiri tersembunyi.
Kedua — perancangan lingkungan yang memungkinkan pemisahan satu perilaku dari perilaku lainnya. Ini seperti dalam psikologi menciptakan tes di mana subjek dengan motivasi berbeda akan memberikan respons berbeda terhadap stimulus yang sama. Misalnya, dua sistem mungkin sama-sama pandai memecahkan tugas navigasi dalam kondisi normal, tetapi ketika peta diubah, satu sistem akan langsung kebingungan, sementara yang lain mulai menjelajahi rute baru. Lingkungan yang mengungkap perbedaan semacam itulah tempat uji perilaku yang sesungguhnya.
Arah ketiga — mempelajari sistem multi-agen, di mana yang penting bukan hanya perilaku agen individu, tetapi juga dinamika interaksi. Dalam kelompok, muncul fenomena yang tidak terlihat pada tingkat tindakan tunggal: koordinasi, persaingan, atau kemunculan yang tak terduga. Ketika dua agen mulai saling memengaruhi, diperlukan eksperimen perilaku, bukan sekadar perbandingan jawaban dengan tolok ukur. Diperlukan ilmu tentang perilaku AI yang akan menjelaskan bagaimana perilaku kolektif muncul dari interaksi lokal.
Hasil akhir hanyalah sebagian dari gambaran keseluruhan
Pendekatan "hasil lebih penting daripada proses" tampaknya masuk akal ketika sistem masih sederhana dan kemampuannya dapat langsung disimpulkan dari jawaban. Tetapi agen modern belajar, beradaptasi, dan berinteraksi, yang berarti perilaku mereka lebih kompleks dan mungkin mengandung pola yang berbahaya atau tidak diinginkan. Penilaian hanya berdasarkan hasil akhir tidak menyadari hal ini, yang sangat berbahaya ketika AI diterapkan di area sensitif: kedokteran, transportasi, keuangan.
Justru karena itulah laporan tersebut mengusulkan untuk menjadikan penelitian di bidang biologi dan psikologi sebagai contoh. Jika seekor katak dalam eksperimen disebut sistem perilaku, maka untuk mempelajarinya diperlukan observasi dan intervensi. Hal yang sama perlu diterapkan pada agen AI sebagai sistem perilaku. Pada saat yang sama, pekerjaan semacam itu harus sistematis: diperlukan standar untuk tes perilaku, alat untuk merekam keputusan, dan metode untuk menginterpretasikan urutan tindakan yang panjang. Ini bukan satu tugas, melainkan sebuah program utuh.
Beralih dari metrik menuju pemahaman
Menggeser fokus dari hasil ke perilaku bukanlah penolakan terhadap angka. Kesalahan akhir atau akurasi tetap berguna sebagai ringkasan umum. Tetapi untuk sistem yang kritis, itu tidak cukup. Jika kita ingin memprediksi bagaimana agen akan berperilaku dalam situasi baru, apakah ia akan mengatasi perubahan tak terduga, dan apakah ia akan menemukan "celah kotor" dalam aturan, kita perlu melihat tindakan dalam skenario nyata dan yang dibuat khusus.
Peta jalan yang diusulkan para peneliti adalah langkah menuju pembentukan ilmu yang utuh tentang perilaku AI. Tujuan akhirnya bukan agar agen sesering mungkin memberikan jawaban yang benar, melainkan agar kita memahami bagaimana ia melakukannya, kapan perilakunya benar-benar cerdas, dan kapan hanya sekadar penyesuaian terhadap metrik. Mengevaluasi agen berdasarkan perilaku akan memungkinkan kita menangkap strategi yang tidak diinginkan pada tahap awal dan membangun sistem yang dapat dipercaya di dunia yang dinamis dan terus berubah.
