समस्या: RL लेबलों पर क्यों अटक जाता है
रिन्फोर्समेंट लर्निंग (RL) आज भाषा और विज़ुअल-भाषा मॉडलों की तर्क क्षमता को बेहतर बनाने के सबसे आशाजनक तरीकों में से एक माना जाता है। तर्क सरल है: मॉडल अलग-अलग रणनीतियाँ आज़माता है, सही कार्यों के लिए इनाम पाता है और धीरे-धीरे बेहतर तर्क करना सीख जाता है। लेकिन एक पेच है — इनाम को सार्थक बनाने के लिए आमतौर पर बाहर से सटीक संकेतों की ज़रूरत होती है: सत्यापन योग्य उत्तर, संदर्भ समाधान, चिह्नित तर्क श्रृंखलाएँ। यह सब तैयार करना महंगा है, और कई कार्यों के लिए ऐसा डेटा लगातार दुर्लभ होता जा रहा है।
इस समस्या को आंशिक रूप से self-rewarding दृष्टिकोण हल करता है, जिसमें मॉडल स्वयं अपने उत्तरों का मूल्यांकन करता है और इसी आधार पर अपने व्यवहार को सुधारता है। हालाँकि, यहाँ एक दुष्चक्र पैदा होता है: यदि मॉडल में पहले से पूर्वाग्रह हैं या वह उप-इष्टतम उत्तर देने का आदी है, तो वह इन्हीं गलतियों को और मजबूत करेगा। अपनी ही प्रतिक्रिया पर प्रशिक्षण जल्दी ही एकरसता की ओर ले जाता है: उत्तर एक-दूसरे से मिलते-जुलते हो जाते हैं, विविधता घट जाती है, और सबसे बुरे मामले में कोलैप्स हो जाता है — मॉडल टेम्पलेट्स के एक सीमित सेट पर अटक जाता है और आगे विकसित होना बंद कर देता है।
Co-RL कैसे काम करता है
प्रीप्रिंट arXiv:2608.17253 के लेखक Co-RL फ्रेमवर्क प्रस्तावित करते हैं, जो इस दुष्चक्र को तोड़ता है। एक ही मॉडल के बजाय जो अपने ही मूल्यांकन पर सीखता है, Co-RL एक साथ कई पूरी तरह से अलग-अलग मॉडल प्रशिक्षित करता है — वे साझा पैरामीटर नहीं रखते और एक-दूसरे के वेट्स नहीं देखते। प्रत्येक मॉडल को इनाम खुद से नहीं, बल्कि कोहोर्ट के अन्य सदस्यों (peers) से मिलता है। संक्षेप में, मॉडल एक-दूसरे के तर्क की समीक्षा करते हैं, आलोचना करते हैं और मूल्यांकन करते हैं, और प्रशिक्षण इन्हीं «बाहरी» मूल्यांकनों के आधार पर बनता है।
फीडबैक का यह आदान-प्रदान गतिशीलता को मौलिक रूप से बदल देता है। विभिन्न मॉडलों की गलतियाँ शायद ही कभी पूरी तरह मेल खाती हैं — हर एक की अपनी कमज़ोरियाँ, अपने सोचने के पैटर्न और अपने पूर्वाग्रह होते हैं। इसलिए जब एक मॉडल दूसरे के उत्तर का मूल्यांकन करता है, तो संभावना काफी कम होती है कि वह किसी और की प्रणालीगत गलती को «पुष्टि» करे। यह आत्म-प्रबलित फीडबैक लूप्स से बचने में मदद करता है, जिनकी वजह से self-rewarding दृष्टिकोण विफल हो जाता है।
विविधता — मुख्य घटक
Co-RL का मूल विचार यह है कि सफलता सीधे कोहोर्ट की विविधता पर निर्भर करती है। यदि सभी मॉडल एक जैसे हों, तो वे बस एक-दूसरे से सहमत होंगे और कोई लाभ नहीं मिलेगा। इसलिए लेखक तीन स्तरों की विषमता (heterogeneity) प्रस्तावित करते हैं:
- मॉडलों के विभिन्न परिवार — उदाहरण के लिए, विभिन्न निर्माताओं के आर्किटेक्चर को मिलाना, ताकि वे साझा गलतियाँ विरासत में न लें।
- विभिन्न आकार — बड़े और कॉम्पैक्ट मॉडल कार्य को अलग-अलग तरह से देखते हैं, और उनके मूल्यांकन एक-दूसरे के पूरक होते हैं।
- पैराफ्रेज़ की गई प्रशिक्षण सैंपल — एक ही उदाहरण अलग-अलग शब्दों में दिए जाते हैं, जिससे समान कार्य-निरूपण के कारण उत्पन्न त्रुटियों का सहसंबंध कम होता है।
कोहोर्ट की यह विविधता सहसंबद्ध त्रुटियों को कम करती है, जो इसलिए खतरनाक हैं क्योंकि वे हर पुनरावृत्ति के साथ जमा होती जाती हैं। साथ ही, व्यवहारिक विविधता बनी रहती है — मॉडल एक ही तर्क शैली में सिमटते नहीं, बल्कि अलग-अलग दृष्टिकोणों की खोज जारी रखते हैं।
प्रयोगों ने क्या दिखाया
लेखकों ने Co-RL को टेक्स्ट और मल्टीमॉडल कार्यों पर परखा, इसकी तुलना बेस मॉडलों और ground-truth लेबल तक पहुँच के बिना label-free दृष्टिकोणों से की। LLM के लिए सात टेक्स्ट बेंचमार्क पर औसत सुधार 3,0–8,6% रहा, और VLM के लिए चार मल्टीमॉडल बेंचमार्क पर — 2,3–7,2%। साथ ही, Co-RL न केवल बिना लेबल वाले समान तरीकों से बेहतर प्रदर्शन करता है, बल्कि कई मामलों में सुपरवाइज़्ड लर्निंग के बराबर या उससे भी बेहतर है — हालाँकि उसे चिह्नित डेटा की बिल्कुल आवश्यकता नहीं होती।
यह उद्योग के लिए एक महत्वपूर्ण संकेत है: शायद भविष्य महंगे एनोटेशन इकट्ठा करने में नहीं, बल्कि मॉडलों के सही ढंग से व्यवस्थित सहयोग में है। जितने अधिक एजेंट एक-दूसरे के मूल्यांकन में भाग लेते हैं और जितने अधिक वे एक-दूसरे से भिन्न होते हैं, प्रशिक्षण उतना ही स्थिर और गुणवत्तापूर्ण बनता है।
व्यावहारिक निष्कर्ष
Co-RL वास्तव में स्व-सीखने वाली प्रणालियों की दिशा में एक ठोस कदम दिखता है। इसे लेबलिंग की आवश्यकता नहीं है, यह अपनी ही प्रतिक्रिया पर नहीं जलता, और साथ ही तर्क की उच्च गुणवत्ता बनाए रखता है। डेवलपर्स बताते हैं कि फ्रेमवर्क का कोड समुदाय के लिए उपलब्ध है — यानी, इस दृष्टिकोण को आज ही दोहराया और अपने कार्यों के अनुसार अनुकूलित किया जा सकता है।
बेशक, सवाल बने हुए हैं: उदाहरण के लिए, किसी विशिष्ट कार्य के लिए कोहोर्ट की संरचना का इष्टतम चयन कैसे करें, और क्या एक साथ कई मॉडलों को प्रशिक्षित करना बहुत महंगा नहीं है। लेकिन यह विचार स्वयं — मॉडलों को अकेले नहीं, बल्कि एक समूह में प्रशिक्षित करना, जहाँ हर कोई दूसरों का मूल्यांकन करता है — शोध के लिए एक दिलचस्प दिशा खोलता है। शायद ऐसे ही तंत्र हमें उन प्रणालियों के करीब लाते हैं जो उतनी ही स्वाभाविक रूप से तर्क करना सीखती हैं, जितनी स्वाभाविक रूप से इंसान एक-दूसरे से अनुभव ग्रहण करते हैं।
