Pelatihan model bahasa besar dengan pembelajaran penguatan sering kali terlihat kasar: sistem hanya mendapat "plus" atau "minus" untuk seluruh jawaban dan harus menebak sendiri apa yang sebenarnya salah. Metode SocraticPO, yang dijelaskan dalam pracetak arXiv:2606.09887 oleh tim yang dipimpin Zirui Liu, mencoba memperbaiki hal ini. Alih-alih hanya memberi tahu model tentang kesalahan, "guru" memberikan petunjuk arah penalaran dalam bentuk bahasa alami — sementara model itu sendiri tetap belajar dalam kerangka RL standar.
Mengapa hadiah biner tidak cukup
Dalam siklus RL yang umum, model bahasa menghasilkan rangkaian penalaran, lalu menerima hadiah outcome skalar: misalnya, untuk kecocokan dengan jawaban yang benar. Evaluasi semacam itu menentukan vektor optimasi, tetapi tidak menjelaskan pada langkah mana solusi menyimpang ke jalur yang salah.
Karena itu, model sering mencari jalan pintas: ia menghafal pola yang terlihat masuk akal, tetapi tidak bertahan saat diuji pada tugas-tugas baru. Hasilnya adalah kebijakan yang rapuh, yang bekerja sangat baik pada tipe contoh yang familiar dan rusak saat ada sedikit perubahan formulasi. Sinyal biner terlalu miskin untuk mengajarkan penalaran.
Bagaimana SocraticPO bekerja
Ide utamanya adalah menambahkan panduan bahasa alami bergaya Sokratik ke dalam roll-out. Prosesnya terlihat seperti ini:
- Siswa menjawab secara mandiri. Model mencoba menyelesaikan masalah tanpa bantuan eksternal.
- Guru memeriksa penalaran. Jika jawaban benar, roll-out selesai dengan cara biasa.
- Saat terjadi kesalahan, guru mendiagnosis percobaan tersebut. Ia tidak memberikan solusi jadi, tetapi secara singkat menunjukkan masalah atau mengajukan pertanyaan mengarahkan dalam semangat dialog Sokratik.
- Siswa melanjutkan dengan konteks yang diperluas. Model melihat rantai awal miliknya sendiri dan arahan guru, lalu mencoba mencapai jawaban yang benar.
Pendekatan ini secara fundamental berbeda dari sekadar memberikan petunjuk sebelum jawaban: intervensi hanya terjadi setelah model menunjukkan penalaran "naif"-nya. Artinya, guru dapat berpijak pada kesalahan nyata siswa, bukan pada abstraksi "begini seharusnya".
Mengapa hadiah yang "meluruh" diperlukan
Jika jawaban yang diperbaiki dengan bantuan guru diberi hadiah sama besar dengan jawaban yang sepenuhnya mandiri, model akan tergoda untuk sengaja membuat kesalahan agar selalu mendapat petunjuk. Ini akan mengubah guru menjadi sumber jawaban benar yang gratis.
SocraticPO mengatasi masalah ini dengan cerdik: jawaban benar yang diperoleh setelah intervensi memberikan hadiah yang dikurangi. Model boleh memanfaatkan petunjuk, tetapi tidak mendapatkan imbalan penuh karenanya. Mekanisme ini mengurangi ketergantungan pada bantuan eksternal dan memaksa penggunaan arahan guru untuk belajar, bukan sebagai celah.
Kompatibilitas dengan metode yang ada
Salah satu keunggulan penting SocraticPO adalah intervensi minimal pada algoritma pembelajaran itu sendiri. Kerangka kerja ini hanya mengubah proses pembuatan roll-out, sementara objective standar — memaksimalkan hadiah yang diharapkan — tetap tidak tersentuh. Berkat ini, metode ini dapat dihubungkan ke pendekatan policy-gradient yang sudah ada, misalnya Reinforce++.
Keunggulan lain — guru tidak memerlukan akses ke bagian dalam model. Karena arahan hanya disampaikan melalui teks, peran guru dapat dijalankan oleh model yang lebih kuat yang bekerja sebagai "kotak hitam". Tidak perlu menyelaraskan distribusi token atau menggunakan logit dari model siswa.
Hasil eksperimen
Para penulis menguji SocraticPO pada tugas-tugas ilmiah tingkat sarjana dari kumpulan data SciKnowEval. Di sini metode ini mengungguli baseline RL yang kuat dan pendekatan berbasis self-distillation, ketika model dilatih pada jawaban koreksinya sendiri.
Ablasi menunjukkan bahwa dua komponen wajib bekerja sama. Petunjuk teks tertarget saja sudah meningkatkan hasil secara signifikan, dan peluruhan hadiah menambahkan pengaman penting terhadap overfitting pada "asisten". Jika salah satu dihilangkan, efektivitasnya menurun.
Apa artinya ini dalam praktik
SocraticPO menarik karena membuat umpan balik dalam RL lebih mirip proses belajar alami. Model tidak sekadar dihukum karena jawaban salah — ia diperlihatkan arah untuk berpikir.
Pada saat yang sama, "kemanusiaan" semacam itu tidak menuntut penulisan ulang total infrastruktur RL: cukup mengganti proses roll-out dan membiarkan infrastruktur lainnya tetap ada. Kemampuan menggunakan kotak hitam yang kuat sebagai guru sangat berguna seiring meningkatnya kesenjangan antara model terbuka dan tertutup yang tersedia.
Masih ada pertanyaan bagaimana kerangka kerja ini akan berperilaku pada tugas multi-langkah yang lebih kompleks, yang membutuhkan beberapa putaran dialog. Tetapi saat ini juga, gagasan untuk menambahkan penjelasan kesalahan yang substantif, bukan sekadar evaluasi, ke dalam RL tampak sebagai langkah alami berikutnya menuju model penalar yang lebih tangguh.
