Model dunia untuk agen berbasis LLM tertutup: koreksi pada titik risiko

Masalah: agen kekurangan pengetahuan tentang lingkungan

Agen mutakhir berbasis LLM tipe «kotak hitam» mampu menangani penalaran jangka panjang dan menghasilkan tindakan secara akurat. Namun, mereka tidak memiliki pengetahuan yang telah dipelajari tentang bagaimana lingkungan berkembang untuk tugas agen tertentu. Artikel arXiv:2610.29139, yang diajukan pada 21 Oktober 2026, menguraikan kesenjangan ini.

Model dunia memberi agen pengetahuan tentang lingkungan tertentu. Model ini memprediksi respons lingkungan terhadap tindakan yang akan dilakukan agen. Dengan demikian, model ini menambahkan informasi yang spesifik untuk tugas.

Kriteria praktis: periksa keterkaitan model dunia dengan lingkungan target. Pengetahuan umum tentang penalaran tidak menutup kesenjangan dalam memahami tugas tertentu.

Mode koreksi: bukan di setiap langkah, melainkan di titik risiko

Model dunia sebelumnya untuk agen LLM terutama memprediksi observasi berikutnya pada setiap langkah. Mode ini mahal dan kurang informatif. Observasi individual hanya memberikan panduan terbatas yang relevan dengan tugas. Prediksi ke depan tidak diperlukan di setiap langkah.

Studi percontohan menunjukkan bahwa panduan dari model dunia paling berguna ketika model tersebut mengantisipasi jebakan dalam rentang beberapa langkah ke depan yang terbatas. Artinya, koreksi sebaiknya diaktifkan di titik risiko, bukan dijalankan terus-menerus.

Kriteria praktis: pilih mode yang aktif saat ada potensi jebakan dan tidak menghabiskan upaya prediksi untuk setiap langkah.

Cara kerja antisipasi jebakan

Para penulis memperkenalkan Pitfall Anticipation World Model (PAWM). Model ini bekerja melalui tiga elemen:

• melakukan intervensi secara selektif ketika muncul potensi jebakan;
• memprediksi kegagalan yang akan segera terjadi;
• mengarahkan agen menjauhi jebakan di titik risiko.

Kriteria praktis: pemicu koreksi harus didasarkan pada potensi jebakan dan prediksi kegagalan yang akan segera terjadi.

Pelatihan model dalam dua tahap

Para penulis melatih Pitfall Anticipation World Model (PAWM) dalam dua tahap.

1. Supervised Fine-Tuning (SFT) pada data sintetis. Data sintetis tersebut berisi anotasi jebakan bagi agen.
2. Co-training GRPO dengan LLM tipe «kotak hitam». Metode ini mengoptimalkan model di lingkungan target.

Kriteria praktis: periksa kedua tahap tersebut—anotasi jebakan dan co-training di lingkungan target.

Evaluasi: di mana melihat peningkatan

Metode ini meningkatkan hasil Claude Sonnet 4.5 sebesar 24.3% di ScienceWorld dan 7.7% di WebArena-Lite.

Para penulis juga menyatakan bahwa model ini mengungguli sejumlah metode dasar. Kriteria praktis: lihat peningkatan di lingkungan target dan bandingkan dengan metode dasar. Transfer hasil antarlingkungan perlu diuji secara terpisah.