Mengapa Agen yang Belajar Mandiri Tidak Stabil: Variasi Hasil dan Ketergantungan pada Urutan Tugas
Agen yang belajar mandiri adalah salah satu arah paling menjanjikan dalam AI modern. Mereka mampu mengumpulkan pengalaman selama bekerja dan menjadi semakin baik dengan setiap tugas baru. Namun di balik ide menarik ini tersembunyi masalah serius: sistem semacam itu sangat tidak dapat diprediksi. Bahkan agen yang sama dapat menunjukkan hasil yang sangat berbeda saat dijalankan ulang, dan efektivitas pembelajarannya secara langsung bergantung pada urutan tugas yang diterimanya.
Penelitian terbaru yang disajikan dalam karya «On the Fragility of Self-Improving Agents: Variance, Task Order, and Underspecification» (arXiv: 2608.18066) secara mendalam meneliti masalah ini. Para penulis melakukan evaluasi ulang terhadap dua metode populer yang didasarkan pada pengelolaan bank memori tekstual. Agen semacam itu menyimpan informasi tentang tugas yang telah diselesaikan dan menggunakannya sebagai memori eksternal saat memproses permintaan baru. Mekanismenya tampak sederhana dan logis, tetapi dalam praktiknya semuanya ternyata jauh lebih rumit.
Kebisingan Tersembunyi dalam Pembelajaran Mandiri
Hal pertama yang ditemukan para peneliti adalah tingginya tingkat kebisingan dalam evaluasi agen semacam itu. Di lingkungan yang kompleks dengan tugas multi-langkah, hasil dari agen yang sama dapat berfluktuasi secara signifikan dari satu kali proses ke proses berikutnya. Dan penambahan loop peningkatan diri tidak hanya mempertahankan kebisingan ini, tetapi secara nyata memperkuatnya. Hasilnya adalah paradoks: semakin banyak agen mencoba belajar dari pengalamannya, semakin tidak stabil perilakunya.
Mengapa hal ini terjadi? Sebagian hal ini terkait dengan fakta bahwa bank memori tekstual mengumpulkan informasi secara non-deterministik. Pada setiap langkah, agen memilih apa yang akan disimpan dan apa yang akan dibuang, dan keputusan ini bergantung pada banyak faktor. Akibatnya, bahkan dengan data masukan yang identik, keadaan internal agen dapat sangat berbeda, yang kemudian menimbulkan variasi.
Urutan Tugas sebagai Kurikulum Tersembunyi
Pengamatan penting kedua menyangkut pengaruh urutan tugas. Ternyata, peningkatan agen sangat bergantung pada urutan pengenalan tugas. Dalam karya-karya sebelumnya tentang agen yang belajar mandiri, sering digunakan urutan «default» yang tetap. Para peneliti menemukan bahwa urutan semacam itu sebenarnya menciptakan kurikulum implisit — tugas-tugas disusun dari yang sederhana ke yang kompleks, memberi agen kesempatan untuk secara bertahap meningkatkan kompetensinya.
Namun, begitu tugas-tugas diacak secara acak, efektivitas pembelajaran menurun drastis. Ini berarti bahwa keberhasilan yang diklaim dari banyak sistem sebagian besar telah ditentukan oleh penempatan materi yang menguntungkan, bukan oleh kemampuan nyata agen untuk belajar. Pada dasarnya, urutan default bertindak sebagai prasyarat tersembunyi untuk keberhasilan — faktor yang biasanya bahkan tidak disebutkan dalam deskripsi metode.
Under-specification sebagai Akar Masalah
Para penulis mengajukan hipotesis bahwa penyebab utama kerapuhan terletak pada under-specification (spesifikasi yang kurang) dari tugas dan lingkungan. Ketika kondisi tugas dijelaskan secara kurang rinci, agen terpaksa membuat banyak keputusan ambigu. Hal ini menimbulkan keacakan dalam cara ia mengumpulkan pengetahuan dan dalam cara ia kemudian menerapkannya.
Untuk menguji hipotesis ini, para peneliti mencoba membuat proses konstruksi memori lebih terspesifikasi. Mereka menambahkan rubrik evaluasi yang terperinci dan umpan balik dari lingkungan — yaitu informasi yang seharusnya mengurangi ambiguitas. Hasilnya cukup signifikan: spesifikasi tambahan hanya sebagian menutup degradasi kinerja yang diamati dalam eksperimen. Kesenjangan yang signifikan tetap ada, menunjukkan adanya faktor lain yang belum dikarakterisasi yang berkontribusi pada ketidakstabilan.
Apa Artinya Ini bagi Praktisi
Temuan yang diperoleh memiliki relevansi langsung dengan pengembangan dan pengujian sistem semacam itu. Pertama, seseorang tidak boleh mempercayai hasil dari satu kali proses. Agen perlu dijalankan berkali-kali dan melaporkan tidak hanya nilai rata-rata, tetapi juga variasi. Jika tidak, seseorang dapat dengan mudah membuat kesimpulan yang salah tentang efektivitas metode berdasarkan keberuntungan belaka.
Kedua, saat membandingkan pendekatan yang berbeda, sangat penting untuk mengujinya pada urutan tugas yang diacak secara acak. Jika suatu metode hanya berfungsi pada kurikulum yang «nyaman», nilai praktisnya dipertanyakan — dalam kenyataan, tugas jarang datang dalam urutan yang tersusun sempurna.
Terakhir, under-specification bukan sekadar fitur dari benchmark tertentu, melainkan sifat fundamental dari banyak skenario dunia nyata. Agen harus bertindak dalam kondisi di mana aturan tidak sepenuhnya jelas, dan ini akan selalu menciptakan risiko kegagalan yang tidak dapat diprediksi. Oleh karena itu, selain meningkatkan algoritme itu sendiri, penting untuk merancang antarmuka dan proses yang memungkinkan manusia mengontrol perilaku agen secara efektif dan campur tangan sebelum kesalahan menjadi kritis.
Sebagai Penutup
Agen yang belajar mandiri tetap menjadi arah yang sangat menjanjikan, tetapi masih belum matang. Penelitian ini dengan jelas menunjukkan bahwa implementasi mereka saat ini jauh dari keandalan. Variasi hasil dan ketergantungan pada urutan tugas bukanlah gangguan yang mengganggu, melainkan sifat fundamental yang harus diperhitungkan. Tanpa protokol evaluasi yang ketat, termasuk beberapa kali proses dan uji stres di lingkungan yang kompleks, kita berisiko menganggap keberhasilan acak sebagai kemajuan nyata. Dan ini sudah menjadi masalah kepercayaan terhadap sistem AI secara keseluruhan.
