Model bahasa modern semakin sering "dilatih lanjut" pada tugas-tugas yang jawabannya dapat diverifikasi secara otomatis: matematika, pemrograman, logika. Pendekatan ini disebut RLVR — pembelajaran penguatan dengan reward yang dapat diverifikasi. Di antara algoritma untuk penyesuaian semacam itu, GRPO menonjol: sederhana, tidak memerlukan model kritik terpisah, dan mudah diskalakan. Namun, sebuah pracetak terbaru (arXiv:2605.12969) mengajak kita melihat GRPO dari sisi kontrastif dan menunjukkan bahwa fungsi tujuannya jauh dari ideal. Para penulis — Feng Zhang dan rekan-rekan — tidak hanya mengkritik pendekatan yang ada, tetapi juga mengusulkan alternatif bernama ConSPO.
Mengapa GRPO menjadi standar de facto RLVR
Metode klasik seperti PPO pertama-tama melatih kritik untuk mengevaluasi keunggulan setiap tindakan. Dalam RLVR, kritik semacam itu sering kali berlebihan: kita sudah memiliki hasil yang dapat diverifikasi yang membagi jawaban menjadi benar dan salah. GRPO memanfaatkan ini secara langsung. Untuk satu prompt, model menghasilkan beberapa varian jawaban — rollouts, kemudian setiap rollout mendapat skor dari verifikator, dan keunggulan dihitung sebagai posisi relatif dalam grup tersebut. Skema ini mengurangi biaya komputasi dan menyederhanakan pasca-pelatihan, sehingga banyak digunakan dalam praktik.
Namun, seperti yang ditunjukkan para penulis, GRPO juga memiliki sisi tersembunyi. Jika kita melihat matematika algoritmanya, ia sebenarnya melatih model untuk memisahkan jawaban "baik" dan "buruk": memaksimalkan kesenjangan yang diharapkan antara skor rollout positif dan negatif yang terverifikasi. Ini adalah tugas diskriminatif klasik. Dari sudut pandang inilah terlihat mengapa tujuan GRPO saat ini tidak ideal.
Dua keterbatasan GRPO yang menghambat pembelajaran
Dalam reformulasi kontrastif GRPO, para peneliti mengidentifikasi dua keterbatasan sistemik yang tertanam dalam fungsi tujuan.
Skor pengganti tidak selaras dengan probabilitas
Model menghasilkan jawaban berdasarkan probabilitas urutan token. Namun, GRPO saat memperbarui kebijakan tidak mengoptimalkan probabilitas ini secara langsung, melainkan fungsi pengganti berdasarkan clipped ratios — rasio terbatas antara kebijakan baru dan lama. Faktanya, yang digunakan sebagai "poin" untuk contoh positif dan negatif bukanlah log-probabilitas urutan yang sebenarnya, melainkan besaran lain. Muncul ketidakselarasan: tujuan yang dioptimalkan algoritma tidak sesuai dengan apa yang sebenarnya menentukan generasi. Hal ini dapat menyebabkan ketidakstabilan atau penggunaan data yang tidak optimal.
Kredit tidak bergantung pada tingkat kesulitan pemisahan saat ini
Keterbatasan kedua berkaitan dengan bagaimana GRPO mendistribusikan pembaruan antar rollout. Algoritma tidak memperhatikan seberapa jauh perbedaan skor antara contoh positif dan negatif pada saat tertentu. Jika satu "negatif" sangat dekat dengan contoh positif, sementara yang lain jauh, GRPO memperlakukannya hampir sama. Pemberian kredit yang tidak sensitif terhadap skor ini berarti model tidak menekankan pada pasangan yang paling membingungkan dan belum terpisah dengan baik. Akibatnya, pembelajaran bisa "berputar-putar" pada contoh mudah, mengabaikan kesulitan yang sebenarnya.
ConSPO: fungsi tujuan kontrastif untuk kebijakan
Untuk mengatasi kedua keterbatasan tersebut, para penulis mengusulkan metode ConSPO — optimasi kebijakan kontrastif tingkat urutan. Namanya berbicara sendiri: GRPO dipikirkan ulang sebagai pembelajaran kontrastif, tetapi dengan sejumlah perbaikan penting.
Pertama, ConSPO kembali ke skor normal: alih-alih besaran pengganti, digunakan log-probabilitas urutan yang dinormalisasi berdasarkan panjang. Ini lebih selaras dengan proses generasi dan menghilangkan masalah skor yang tidak selaras dengan probabilitas.
Kedua, algoritma secara eksplisit mempertentangkan rollout positif yang terverifikasi dengan "distraktor" negatif dalam grup yang sama. Pembaruan kebijakan kemudian dikendalikan oleh fungsi grup yang mirip dengan InfoNCE — teknik standar dalam pembelajaran kontrastif. Fungsi semacam itu secara otomatis memperkuat gradien untuk pasangan di mana jawaban positif belum cukup terpisah dari jawaban negatif, sementara negatif dengan skor tinggi mendapat perhatian lebih. Dengan demikian, masalah distribusi kredit yang tidak sensitif terpecahkan.
Ketiga, ConSPO menerapkan margin terjadwal kurikulum. Margin yang harus memisahkan contoh positif dan negatif secara bertahap diperketat seiring pembelajaran. Ini mencegah model berhenti pada pencapaian yang ada: pertama ia menangani perbedaan mudah, kemudian dipaksa untuk menyempurnakan pemisahan hingga batas yang semakin tipis.
Kesimpulan dan prospek
Para penulis menguji ConSPO dalam berbagai kondisi dan pada benchmark penalaran yang menantang. Hasilnya menunjukkan bahwa metode baru ini secara konsisten mengungguli pendekatan dasar yang kuat. Ini adalah sinyal penting bagi komunitas: tujuan GRPO yang umum dapat ditingkatkan jika RLVR didekati sebagai tugas pembelajaran kontrastif, bukan sekadar optimasi keunggulan relatif.
Tentu saja, satu pracetak tidak menutup topik ini. Namun, sudut pandang yang diusulkan memberikan alat analisis baru: alih-alih menerima GRPO sebagai sesuatu yang sudah pasti, para peneliti kini dapat menguraikannya menjadi komponen kontrastif yang dapat dipahami dan meningkatkan masing-masing secara terpisah. Bagi praktisi, ini berarti ada satu lagi metode kuat dalam gudang pasca-pelatihan, yang sangat berharga untuk tugas-tugas di mana verifikator memberikan sinyal biner yang jelas.
