Dari Perencanaan di Ruang Laten hingga Transfer Keterampilan
Pembelajaran penguatan modern tidak lagi sekadar mencoba-coba tindakan. Dalam pendekatan model-based RL, agen pertama-tama membangun model dunia internal — bagaimana lingkungan merespons tindakannya — lalu menggunakan model tersebut untuk perencanaan. Model dunia neural memungkinkan hal ini dilakukan di ruang laten: mereka memampatkan observasi menjadi vektor dan memprediksi keadaan serta imbalan berikutnya tanpa asumsi eksplisit tentang cara kerja lingkungan. Ini kuat, tetapi pendekatan ini memiliki keterbatasan yang nyata: model biasanya sangat terikat pada tugas tertentu.
Para penulis pracetak baru arXiv:2608.17959 — Isidoro Tamassia, Lennert De Smet, dan Giuseppe Marra — mengusulkan untuk meninjau ulang struktur model dunia itu sendiri. Ide mereka adalah memisahkan komponen simbolik dari keadaan laten yang menjadi sandaran imbalan, dan memprediksi komponen-komponen tersebut secara spesifik. Model neurosimbolik semacam ini memungkinkan transfer keterampilan ke tugas-tugas baru tanpa satu pun langkah tambahan dalam interaksi dengan lingkungan — yaitu dalam mode zero-shot. Versi v2 dari karya ini dipresentasikan pada 24 Agustus 2026.
Mengapa Model Dunia Biasa "Menempel" pada Tugas
Model dunia neural klasik dilatih pada data dari lingkungan tertentu dan fungsi imbalan tertentu. Selama pelatihan, representasi laten dibentuk agar nyaman bagi imbalan tersebut, tetapi representasi itu tidak diwajibkan untuk dapat diinterpretasi atau dapat ditransfer ke tujuan lain. Oleh karena itu, ketika tugas berubah — misalnya, ketika keadaan target atau aturan imbalan diubah — agen pada dasarnya harus belajar ulang: fitur internal tidak membawa struktur yang dibutuhkan.
Bayangkan sebuah agen yang pandai merencanakan rute menuju tujuan di satu labirin, tetapi menjadi bingung ketika dipindahkan ke labirin dengan penanda imbalan yang berbeda. Keadaan latennya "diasah" untuk imbalan sebelumnya, bukan untuk sifat objektif lingkungan. Inilah masalah utama yang coba dipecahkan oleh para penulis.
Apa yang Diubah oleh Formulasi Neurosimbolik
Alih-alih memprediksi imbalan dari seluruh keadaan laten secara utuh, para penulis mengusulkan untuk memisahkan bagian simbolik terstruktur di dalamnya. Prediksi imbalan hanya bergantung pada subset kecil dari komponen simbolik tersebut — misalnya, posisi agen, keberadaan kunci, atau pintu yang terbuka. Rekonstruksi observasi tetap menjadi tugas terpisah dan dapat menggunakan seluruh keadaan laten.
Pemisahan dua tujuan ini — memulihkan gambar dan memprediksi imbalan melalui simbol — secara fundamental mengubah perilaku model saat transfer. Jika fungsi imbalan baru didefinisikan pada ruang keadaan simbolik yang sama, agen tidak perlu menjelajahi lingkungan lagi. Ia sudah mampu mengekstrak informasi simbolik yang dibutuhkan dan kini tinggal menghitung ulang bagaimana imbalan baru berhubungan dengan apa yang ia amati.
Keunggulan dan Pertanyaan Terbuka
Hasil utama penelitian ini adalah konfirmasi eksperimental bahwa model dunia neurosimbolik memberikan generalisasi yang lebih baik pada fungsi imbalan baru dibandingkan pendekatan neural murni. Ini merupakan argumen penting bahwa penambahan lapisan simbolik benar-benar membantu transfer, bukan sekadar memperumit arsitektur.
Tetapi arsitektur semacam ini juga menghadirkan tantangannya sendiri.
- Perlu diputuskan komponen keadaan mana yang dianggap simbolik, dan mana yang dibiarkan "mentah" untuk rekonstruksi.
- Ruang simbolik harus cukup ekspresif agar beragam tugas dapat didefinisikan di dalamnya — jika tidak, transfer akan terbatas pada kelas tujuan yang sempit.
- Melatih prediksi imbalan dan rekonstruksi secara terpisah lebih sulit: model tidak boleh kehilangan informasi visual yang hanya dibutuhkan untuk memulihkan observasi.
Mengapa Ini Penting
Transfer keterampilan tanpa pelatihan ulang adalah salah satu tujuan utama dalam pembelajaran penguatan. Saat ini, setiap skenario baru sering kali berarti tahap baru pengumpulan data dan interaksi dengan lingkungan. Model dunia neurosimbolik dapat membuat transisi ini jauh lebih murah: cukup jika tugas baru dapat dijelaskan dalam istilah keadaan simbolik yang sudah dikenal agen. Pada dasarnya, ini adalah langkah menuju agen yang memahami tidak hanya "seperti apa dunia ini", tetapi juga "apa yang penting di dunia ini untuk mencapai tujuan".
Karya ini termasuk dalam bidang kecerdasan buatan dan pembelajaran mesin (cs.AI, cs.LG) dan sejauh ini bersifat hasil penelitian. Namun arah ini tampak menjanjikan: lapisan simbolik yang dapat diinterpretasi membantu baik dalam generalisasi maupun kepercayaan terhadap keputusan model.
