बड़े भाषा मॉडलों को सुदृढीकरण से प्रशिक्षित करना अक्सर कुछ मोटा-मोटा सा लगता है: सिस्टम को पूरे उत्तर के लिए केवल 'प्लस' या 'माइनस' मिलता है और उसे खुद ही अंदाज़ा लगाना होता है कि वास्तव में क्या गलत हुआ। SocraticPO विधि, जिसे Zirui Liu के नेतृत्व वाली टीम ने प्रीप्रिंट arXiv:2606.09887 में वर्णित किया है, इसे ठीक करने का प्रयास करती है। मॉडल को केवल त्रुटि की सूचना देने के बजाय, 'शिक्षक' प्राकृतिक रूप में तर्क की दिशा का संकेत देता है — और मॉडल स्वयं अभी भी मानक RL के ढांचे में सीखता है।
बाइनरी पुरस्कार पर्याप्त क्यों नहीं हैं
विशिष्ट RL चक्र में, भाषा मॉडल तर्क की एक श्रृंखला उत्पन्न करता है और फिर एक स्केलर परिणाम-पुरस्कार प्राप्त करता है: उदाहरण के लिए, सही उत्तर से मेल खाने पर। ऐसा मूल्यांकन अनुकूलन की दिशा तय करता है, लेकिन यह स्पष्ट नहीं करता कि समाधान किस चरण में गलत रास्ते पर चला गया।
इस वजह से, मॉडल अक्सर छोटा रास्ता खोजता है: यह उन पैटर्नों को याद रखता है जो प्रशंसनीय लगते हैं, लेकिन नई समस्याओं पर खरे नहीं उतरते। परिणाम — नाज़ुक नीतियाँ जो परिचित प्रकार के उदाहरणों पर बढ़िया काम करती हैं और प्रश्न के शब्दों में ज़रा सा भी बदलाव होने पर टूट जाती हैं। बाइनरी सिग्नल तर्क करना सिखाने के लिए बहुत कमज़ोर होता है।
SocraticPO कैसे काम करता है
मुख्य विचार रोलआउट में सुकराती शैली का प्राकृतिक-भाषा मार्गदर्शन जोड़ना है। प्रक्रिया इस प्रकार दिखती है:
- छात्र स्वयं उत्तर देता है। मॉडल बाहरी सहायता के बिना समस्या को हल करने का प्रयास करता है।
- शिक्षक तर्क की जाँच करता है। यदि उत्तर सही है, तो रोलआउट सामान्य तरीके से समाप्त हो जाता है।
- त्रुटि होने पर शिक्षक प्रयास का निदान करता है। वह तैयार समाधान नहीं देता, बल्कि समस्या की ओर संक्षेप में इशारा करता है या सुकराती संवाद की शैली में एक मार्गदर्शक प्रश्न पूछता है।
- छात्र विस्तारित संदर्भ के साथ जारी रखता है। मॉडल अपनी मूल श्रृंखला और शिक्षक का निर्देश देखता है, और फिर सही उत्तर तक पहुँचने का प्रयास करता है।
यह दृष्टिकोण उत्तर से पहले केवल संकेत देने से मौलिक रूप से अलग है: हस्तक्षेप केवल तब होता है जब मॉडल पहले ही अपना 'भोला' तर्क प्रदर्शित कर चुका होता है। इसका मतलब है कि शिक्षक छात्र की वास्तविक गलती पर भरोसा कर सकता है, न कि किसी अमूर्त 'ऐसे करना चाहिए' पर।
'क्षीण होता' पुरस्कार क्यों
यदि शिक्षक की सहायता से सुधारे गए उत्तर को पूरी तरह से स्वतंत्र उत्तर के समान उदारता से पुरस्कृत किया जाए, तो मॉडल के मन में जानबूझकर गलती करने का प्रलोभन पैदा होगा, ताकि उसे हमेशा संकेत मिल सके। यह शिक्षक को सही उत्तरों का एक मुफ़्त स्रोत बना देगा।
SocraticPO इस समस्या को चतुराई से हल करता है: हस्तक्षेप के बाद प्राप्त सही उत्तर कम पुरस्कार लाते हैं। मॉडल संकेत का उपयोग कर सकता है, लेकिन उसे इसका पूरा इनाम नहीं मिलता। यह तंत्र बाहरी सहायता पर निर्भरता कम करता है और शिक्षक के मार्गदर्शन को एक खामी के रूप में नहीं, बल्कि सीखने के लिए उपयोग करने के लिए प्रेरित करता है।
मौजूदा तरीकों के साथ संगतता
SocraticPO के महत्वपूर्ण लाभों में से एक सीखने के एल्गोरिदम में न्यूनतम हस्तक्षेप है। फ्रेमवर्क केवल रोलआउट उत्पन्न करने की प्रक्रिया को बदलता है, जबकि मानक उद्देश्य — अपेक्षित पुरस्कार को अधिकतम करना — अछूता रहता है। इसके लिए धन्यवाद, विधि को मौजूदा policy-gradient दृष्टिकोणों, जैसे Reinforce++, से जोड़ा जा सकता है।
एक और लाभ — शिक्षक को मॉडल के आंतरिक भागों तक पहुँच की आवश्यकता नहीं है। चूँकि मार्गदर्शन केवल पाठ के माध्यम से प्रेषित होता है, शिक्षक की भूमिका एक अधिक शक्तिशाली मॉडल निभा सकता है जो 'ब्लैक बॉक्स' की तरह काम करता है। टोकन वितरण को संरेखित करने या छात्र-मॉडल के लॉगिट्स का उपयोग करने की कोई आवश्यकता नहीं है।
प्रयोगों के परिणाम
लेखकों ने SocraticPO को SciKnowEval सेट के स्नातक स्तर के वैज्ञानिक कार्यों पर परखा। यहाँ विधि ने मजबूत RL-बेसलाइन और self-distillation पर आधारित दृष्टिकोणों को पीछे छोड़ दिया, जब मॉडल अपने स्वयं के सुधारे गए उत्तरों पर सीखता है।
एब्लेशन से पता चलता है कि दो अनिवार्य घटक मिलकर काम करते हैं। अकेले लक्षित पाठ्य संकेत परिणामों में उल्लेखनीय सुधार करता है, और पुरस्कार का क्षीण होना 'सहायक' पर अति-अनुकूलन से एक महत्वपूर्ण सुरक्षा कवच जोड़ता है। यदि इनमें से एक को भी हटा दिया जाए, तो प्रभावशीलता कम हो जाती है।
व्यवहार में इसका क्या अर्थ है
SocraticPO इसलिए दिलचस्प है क्योंकि यह RL में प्रतिक्रिया को सीखने की प्राकृतिक प्रक्रिया के अधिक समान बनाता है। मॉडल को केवल गलत उत्तर के लिए दंडित नहीं किया जाता — उसे वह दिशा दिखाई जाती है जिसमें सोचना चाहिए।
साथ ही, ऐसी 'मानवीयता' के लिए RL के बुनियादी ढांचे को पूरी तरह से फिर से लिखने की आवश्यकता नहीं है: रोलआउट प्रक्रिया को बदलना और बाकी इंफ्रास्ट्रक्चर को रखना पर्याप्त है। शिक्षक के रूप में शक्तिशाली ब्लैक बॉक्स का उपयोग करने की क्षमता विशेष रूप से तब उपयोगी होती है जब उपलब्ध ओपन और क्लोज्ड मॉडल के बीच का अंतर बढ़ता है।
यह सवाल बना हुआ है कि फ्रेमवर्क अधिक जटिल बहु-चरणीय कार्यों पर कैसा व्यवहार करेगा, जहाँ संवाद के कई दौर की आवश्यकता होती है। लेकिन पहले से ही, RL में केवल मूल्यांकन के बजाय त्रुटि की सार्थक व्याख्या जोड़ने का विचार अधिक स्थिर तर्कशील मॉडल की ओर एक स्वाभाविक अगला कदम लगता है।
