Masalah: Mengapa RL Terbentur pada Label
Pembelajaran penguatan (RL) saat ini dianggap sebagai salah satu cara paling menjanjikan untuk meningkatkan penalaran model bahasa dan model visi-bahasa. Logikanya sederhana: model mencoba berbagai strategi, mendapatkan hadiah atas tindakan yang benar, dan secara bertahap belajar bernalar lebih baik. Namun ada kendalanya — agar hadiah tersebut bermakna, biasanya diperlukan sinyal eksternal yang akurat: jawaban yang dapat diverifikasi, solusi acuan, rantai penalaran yang diberi label. Semua ini mahal untuk disiapkan, dan untuk banyak tugas, data semacam itu semakin langka.
Sebagian masalah ini diatasi oleh pendekatan self-rewarding, ketika model mengevaluasi jawabannya sendiri dan berdasarkan itu menyesuaikan perilakunya. Namun di sini muncul lingkaran setan: jika model sudah memiliki bias atau terbiasa merespons secara suboptimal, model akan memperkuat kesalahan yang sama. Pembelajaran pada umpan balik sendiri dengan cepat mengarah pada monoton: jawaban menjadi mirip satu sama lain, keragaman menurun, dan dalam kasus terburuk terjadi kolaps — model terpaku pada serangkaian pola yang sempit dan berhenti berkembang.
Bagaimana Co-RL Bekerja
Para penulis pracetak arXiv:2608.17253 mengusulkan kerangka kerja Co-RL yang memutus lingkaran setan ini. Alih-alih satu model yang belajar dari penilaiannya sendiri, Co-RL secara bersamaan melatih beberapa model yang sepenuhnya terpisah — mereka tidak berbagi parameter umum dan tidak saling mengintip bobot. Setiap model menerima hadiah bukan dari dirinya sendiri, melainkan dari peserta lain dalam kohort (rekan sebaya). Pada dasarnya, model-model saling bernalar, mengkritik, dan mengevaluasi, dan justru berdasarkan penilaian "eksternal" inilah pembelajaran dibangun.
Pertukaran umpan balik semacam ini secara fundamental mengubah dinamika. Kesalahan dari model yang berbeda jarang sepenuhnya tumpang tindih — masing-masing memiliki kelemahan, pola berpikir, dan prasangka sendiri. Oleh karena itu, ketika satu model mengevaluasi jawaban model lain, kemungkinan model tersebut "mengonfirmasi" kesalahan sistemik orang lain jauh lebih rendah. Ini memungkinkan penghindaran loop umpan balik yang menguatkan diri sendiri, yang menyebabkan pendekatan self-rewarding gagal.
Keberagaman sebagai Bahan Utama
Ide kunci Co-RL adalah bahwa keberhasilan secara langsung bergantung pada keberagaman kohort. Jika semua model identik, mereka hanya akan saling setuju dan tidak ada keuntungan yang diperoleh. Oleh karena itu, para penulis mengusulkan tiga tingkat heterogenitas:
- Keluarga model yang berbeda — misalnya, menggabungkan arsitektur dari produsen yang berbeda, sehingga mereka tidak mewarisi kesalahan umum.
- Ukuran yang berbeda — model besar dan ringkas melihat tugas secara berbeda, dan penilaian mereka saling melengkapi.
- Sampel pelatihan yang diparafrasekan — contoh yang sama disajikan dalam formulasi yang berbeda, yang mengurangi korelasi kesalahan yang disebabkan oleh perumusan tugas yang sama.
Keberagaman kohort semacam ini mengurangi kesalahan yang berkorelasi, yang berbahaya karena terakumulasi dari iterasi ke iterasi. Pada saat yang sama, keberagaman perilaku tetap terjaga — model tidak menyusut ke satu gaya penalaran, tetapi terus mengeksplorasi pendekatan yang berbeda.
Apa yang Ditunjukkan Eksperimen
Para penulis menguji Co-RL pada tugas teks dan multimodal, membandingkannya dengan model dasar dan pendekatan label-free tanpa akses ke label ground-truth. Pada tujuh tolok ukur teks untuk LLM, peningkatan rata-rata mencapai 3,0–8,6%, dan pada empat tolok ukur multimodal untuk VLM — 2,3–7,2%. Selain itu, Co-RL tidak hanya mengungguli metode serupa tanpa label, tetapi dalam beberapa kasus sebanding dengan pembelajaran supervisi atau bahkan melampauinya — meskipun data berlabel sama sekali tidak diperlukan.
Ini adalah sinyal penting bagi industri: mungkin masa depan bukan terletak pada pengumpulan anotasi mahal yang tak ada habisnya, melainkan pada interaksi model yang diorganisasi dengan baik. Semakin banyak agen yang berpartisipasi dalam mengevaluasi satu sama lain dan semakin besar perbedaan mereka, semakin stabil dan berkualitas pembelajaran yang dihasilkan.
Kesimpulan Praktis
Co-RL tampak sebagai langkah yang meyakinkan menuju sistem yang benar-benar mampu belajar mandiri. Ia tidak memerlukan pelabelan, tidak mandek pada umpan baliknya sendiri, dan tetap mempertahankan kualitas penalaran yang tinggi. Para pengembang mencatat bahwa kode kerangka kerja tersedia untuk komunitas — artinya, pendekatan ini dapat direproduksi dan diadaptasi untuk tugas-tugas sendiri hari ini juga.
Tentu saja, masih ada pertanyaan: misalnya, bagaimana cara optimal memilih komposisi kohort untuk tugas tertentu, dan apakah melatih beberapa model sekaligus terlalu mahal. Namun ide itu sendiri — melatih model tidak sendirian, melainkan dalam kolektif, di mana setiap orang mengevaluasi yang lain — membuka arah penelitian yang menarik. Mungkin justru mekanisme semacam inilah yang mendekatkan kita pada sistem yang belajar bernalar senatural manusia saling mewarisi pengalaman.
