Agen AI modern semakin aktif bekerja dalam mode dialog: pengguna memberikan tugas, agen mengakses alat, mengembalikan hasil, dan manusia menyempurnakan atau mengoreksi permintaan. Interaksi multi-langkah semacam ini sulit dievaluasi karena pada akhirnya hanya ada hasil akhir. Hasil tersebut tidak menunjukkan tindakan agen mana yang benar-benar membantu dan mana yang ternyata tidak perlu.
Mengapa hasil akhir saja tidak cukup
Dalam pembelajaran penguatan untuk agen semacam ini, biasanya digunakan rollout: agen melakukan serangkaian tindakan, lalu menerima hadiah atas hasil akhirnya. Pendekatan ini praktis, tetapi cukup kasar. Penyempurnaan permintaan yang berhasil, kesalahan yang jelas, dan perbaikan setelahnya mendapatkan kredit yang sama, padahal kontribusinya terhadap hasil sangat berbeda. Akibatnya, agen belajar lebih lambat dan tidak selalu memahami tindakan mana yang sebenarnya mengarah pada keberhasilan.
Para penulis penelitian baru menyoroti sumber sinyal berharga yang sering diabaikan — respons berikutnya dari pengguna. Ketika agen mengambil langkah berikutnya, manusia bereaksi: menyempurnakan tugas, mengungkapkan ketidakpuasan, mengonfirmasi jawaban. Respons semacam itu bukan sekadar konteks untuk langkah selanjutnya, melainkan umpan balik lokal terhadap segmen interaksi yang baru saja dilakukan.
Bagaimana FACA bekerja
Metode FACA (Feedback-Aware Credit Assignment) mengubah respons pengguna menjadi sinyal pembelajaran yang utuh. Idenya adalah mencocokkan setiap reaksi dengan segmen tindakan agen yang spesifik, lalu menghitung keunggulan lokal dari reaksi tersebut — seberapa lebih baiknya dibandingkan yang diharapkan untuk konteks tersebut. Keunggulan ini dinormalisasi dan ditambahkan ke keunggulan terminal standar dari hasil akhir. Tidak diperlukan kritik tambahan maupun rollout baru — semuanya dihitung dari data yang sudah dikumpulkan.
Kombinasi ini memberikan agen baik estimasi kasar dari hasil akhir maupun sinyal antara yang lebih akurat. Bonus tambahannya, metode ini tidak memperumit inferensi: seluruh sinyal tambahan diekstraksi dari dialog yang sudah ada, sehingga mudah diterapkan di sistem nyata.
Hasil eksperimen
Para peneliti membandingkan FACA dengan pendekatan Interactive GRPO yang hanya memperhitungkan hasil akhir. Pelatihan dilakukan dalam kondisi yang sama: simulator yang sama, dialog yang terlihat sama, inisialisasi dan optimasi yang sama. Pada sembilan domain keluarga τ, FACA meningkatkan hasil rata-rata sebesar 5,91 poin persentase untuk model 8B dan 10,22 untuk model 14B. Setiap metrik diperoleh dari tiga kali pelatihan yang dijalankan secara independen.
Keuntungan terbesar terjadi pada domain Telecom. Eksperimen tambahan dengan pengacakan polaritas respons pengguna menunjukkan bahwa untuk model 8B, keuntungan ini sepenuhnya hilang. Ini mengonfirmasi bahwa sinyal tersebut membawa informasi yang berguna, bukan sekadar menambah kebisingan. Dalam mode zero-shot pada benchmark Pare-Bench dan Co-Gym, hasilnya tetap pada urutan yang sama.
Kesimpulan
Penelitian ini dengan jelas menunjukkan bahwa respons pengguna berikutnya lebih dari sekadar konteks. Respons tersebut memberikan kredit lokal yang murah dan secara signifikan meningkatkan pembelajaran agen untuk interaksi multi-langkah. FACA menawarkan cara sederhana dan efektif untuk mengekstrak sinyal ini tanpa restrukturisasi besar pada proses pembelajaran. Hasilnya, agen lebih memahami tindakan mana yang benar-benar mendekatkan mereka pada tujuan dan mana yang perlu dipertimbangkan ulang.
