यह लेख किस बारे में है
जब कोई बड़ा भाषा मॉडल किसी जटिल तार्किक या गणितीय समस्या को हल करता है, तो जनरेशन प्रक्रिया केवल टोकन का क्रमिक आउटपुट नहीं होती। हर कदम आंतरिक स्थिति पर निर्भर करता है, जिसमें मॉडल शर्त, मध्यवर्ती परिणाम और उनके बीच के संबंधों को बनाए रखता है। मजबूत तर्क करने वाले LLM इस स्थान का कुशलता से उपयोग करते हैं, लेकिन उनमें भी विफलताएँ होती हैं। अक्सर समस्या ज्ञान की कमी से नहीं, बल्कि इससे जुड़ी होती है कि आवश्यक संज्ञानात्मक तंत्र — आत्म-जाँच, समस्या का पुनर्निर्माण, पिछले निष्कर्षों पर वापस लौटना — समय पर सक्रिय नहीं होते।
नया शोध, जिसका पहला संस्करण मई 2026 में arXiv पर आया और अंतिम संस्करण अगस्त में, EMNLP 2026 सम्मेलन के लिए स्वीकार किया गया। लेखकों ने Latent Reward Steering (LRS) फ्रेमवर्क प्रस्तुत किया। यह एक अनुकूली इन्फ़रेंस-टाइम विधि है: यह प्रॉम्प्ट के टेक्स्ट को नहीं बदलती और न ही उसमें निर्देश जोड़ती है, बल्कि मॉडल के आंतरिक प्रतिनिधित्व पर प्रभाव डालती है। संक्षेप में, सिस्टम उस क्षण तर्क प्रक्रिया को "ठीक" करना सीखता है जब वह देखता है कि वह गलत दिशा में जा रही है।
व्यवहारिक संकेत पर्याप्त क्यों नहीं हैं
LLM के तर्क को बेहतर बनाने का सबसे आम तरीका उसे स्पष्ट रूप से एक निश्चित तरीके से व्यवहार करने के लिए कहना है: "कार्य को चरणों में विभाजित करें", "स्वयं की जाँच करें", "पहले सोचें, फिर उत्तर दें"। ऐसी तकनीकें बाहरी, पाठ्य स्तर पर व्यवहार को नियंत्रित करती हैं। वे मानती हैं कि एक सार्वभौमिक परिदृश्य मौजूद है जो सभी त्रुटियों के लिए समान रूप से उपयोगी है। लेकिन व्यवहार में, विफलताएँ पूरी तरह से अलग होती हैं: मॉडल शर्त को गलत समझ सकता है, कोई महत्वपूर्ण विवरण खो सकता है, अनुपयुक्त विधि चुन सकता है, या अंतिम चरण में गणना में गलती कर सकता है।
इसके अलावा, अलग-अलग मॉडल — और यहाँ तक कि अलग-अलग प्रयासों में एक ही मॉडल — अलग-अलग तरीकों से गलतियाँ करते हैं। पहले से निर्धारित संकेत न तो कार्य के प्रकार को ध्यान में रखता है, न ही तर्क की वर्तमान स्थिति को, और न ही किसी विशेष LLM की विशेषताओं को। कुछ मामलों में यह मदद करता है, दूसरों में बेकार हो जाता है, और कभी-कभी हानिकारक भी होता है, क्योंकि यह मॉडल को वास्तविक विचार प्रवाह के अनुकूल होने के बजाय यांत्रिक रूप से एक टेम्पलेट का पालन करने के लिए मजबूर करता है।
LRS तर्क प्रक्रिया को कैसे ठीक करता है
मॉडल को पाठ्य सिफारिशें देने के बजाय, LRS छिपी हुई अवस्थाओं के स्तर पर काम करता है जो मॉडल तर्क के दौरान उत्पन्न करता है। ये अवस्थाएँ न केवल चरणों की सामग्री रखती हैं, बल्कि इस बात के सूक्ष्म संकेत भी देती हैं कि मॉडल उत्तर की ओर कितने आत्मविश्वास से बढ़ रहा है। ऐसे संकेतों को नियंत्रण के लिए सुलभ बनाने के लिए, एक स्पार्स ऑटोएन्कोडर का उपयोग किया जाता है।
SAE मॉडल के सघन सक्रियणों को कम संख्या में व्याख्या योग्य घटकों में विघटित करता है। इनमें से कुछ घटक उपयोगी संज्ञानात्मक व्यवहारों के अनुरूप होते हैं, जैसे मध्यवर्ती जाँच या निष्कर्ष की समीक्षा। LRS का प्रभाव ठीक इन्हीं पर लक्षित होता है। यह दृष्टिकोण मौखिक निर्देशों की तुलना में मॉडल की "सोच" को अधिक सटीक रूप से प्रभावित करने की अनुमति देता है।
लेटेंट रिवॉर्ड मॉडल का प्रशिक्षण
सफल आंतरिक अवस्थाओं को असफल से अलग करने के लिए, लेखक एक अलग रिवॉर्ड मॉडल प्रशिक्षित करते हैं। यह इनपुट के रूप में अंतिम उत्तर नहीं, बल्कि मध्यवर्ती लेटेंट अवस्थाएँ लेता है और मूल्यांकन करता है कि वे मॉडल को सही परिणाम के कितने करीब लाती हैं। प्रशिक्षण डेटा के रूप में उत्तर की सत्यता के अनुसार लेबल किए गए पूर्ण तर्क ट्रेस का उपयोग किया जाता है। इस प्रकार रिवॉर्ड मॉडल पहले से भविष्यवाणी करना सीखता है कि पथ का वर्तमान खंड सफलता की ओर ले जाएगा या नहीं।
रिवॉर्ड ग्रेडिएंट द्वारा सुधार
जब जनरेशन के दौरान LRS एक ऐसी स्थिति का पता लगाता है जो कम आशाजनक दिखती है, तो वह उस स्थिति के घटकों के सापेक्ष रिवॉर्ड सिग्नल के ग्रेडिएंट की गणना करता है। ग्रेडिएंट उस दिशा को इंगित करता है जिसमें सही निरंतरता की संभावना बढ़ाने के लिए लेटेंट स्थिति को स्थानांतरित करने की आवश्यकता होती है। LRS की प्रमुख विशेषता यह है कि यह दिशा पहले से निर्धारित नहीं होती और न ही निश्चित "अच्छे तर्क के नियमों" से ली जाती है। इसकी गणना प्रत्येक विशिष्ट स्थिति के लिए तुरंत की जाती है, इसलिए यह विधि मॉडल, कार्य और वर्तमान त्रुटि की विशिष्टता के अनुकूल हो जाती है।
रिवॉर्ड और कॉन्फिडेंस गेट
हर कदम पर हस्तक्षेप करना बहुत जोखिम भरा होगा: निरंतर बाहरी प्रभाव प्राकृतिक जनरेशन को बाधित कर सकता है। इसलिए LRS एक रिवॉर्ड और कॉन्फिडेंस गेट का उपयोग करता है। यह केवल उन अवस्थाओं के लिए सुधार की अनुमति देता है जिन्हें रिवॉर्ड सिग्नल नाजुक के रूप में चिह्नित करता है। यदि वर्तमान स्थिति को आत्मविश्वासपूर्ण माना जाता है, तो कोई हस्तक्षेप नहीं होता। ऐसा चयनात्मक दृष्टिकोण दुष्प्रभावों को कम करता है और तर्क की स्वाभाविकता को बनाए रखता है जब मॉडल स्वयं ही अच्छा प्रदर्शन कर रहा हो।
प्रयोगों ने क्या दिखाया
लेखकों ने LRS को कई तर्क करने वाले LLM पर, जिन्हें आधार के रूप में उपयोग किया गया, और मानक बेंचमार्क के एक सेट पर परीक्षण किया। विधि की तुलना विभिन्न आधारभूत दृष्टिकोणों से की गई, और अधिकांश कॉन्फ़िगरेशन में LRS ने सटीकता में स्थिर सुधार दिया। महत्वपूर्ण बात यह है कि सकारात्मक प्रभाव एक पृथक मामला नहीं था: यह मॉडल और कार्य के प्रकार दोनों में बदलाव पर दोहराया गया।
परिणामों के पोस्ट-हॉक विश्लेषण से पता चला कि सुधार केवल उत्तरों को "लंबा" करने या जनरेशन की शैली बदलने तक सीमित नहीं हैं। शोधकर्ताओं ने पाया: LRS अप्रत्यक्ष रूप से उन संज्ञानात्मक व्यवहारों को बढ़ावा देता है जिन्हें आमतौर पर पाठ्य प्रॉम्प्ट के माध्यम से प्रेरित करने का प्रयास किया जाता है। मॉडल अक्सर गलत मध्यवर्ती निष्कर्षों पर लौटता है, शर्तों का अधिक सावधानी से विश्लेषण करता है, और अधिक सुसंगत तर्क प्रवाह प्रदर्शित करता है। अर्थात्, यह विधि वास्तव में बाहरी टेम्पलेट्स के बजाय आंतरिक अवस्थाओं के माध्यम से काम करती है।
यह महत्वपूर्ण क्यों है
LRS न केवल विशिष्ट परिणामों के लिए दिलचस्प है, बल्कि तर्क प्रबंधन के सिद्धांत में बदलाव के लिए भी। सही प्रॉम्प्ट फॉर्मूलेशन खोजने के बजाय, शोधकर्ता मॉडल को उसके स्वयं के प्रतिनिधित्व के स्थान में सावधानीपूर्वक "सही" करना सीखने का सुझाव देते हैं। ऐसा दृष्टिकोण संभावित रूप से अधिक सार्वभौमिक है: इसे सभी संभावित संज्ञानात्मक परिदृश्यों का पहले से वर्णन करने की आवश्यकता नहीं होती, और यह स्वयं पता लगाता है कि इस समय सोच के किस पहलू में सुधार की आवश्यकता है।
फिलहाल LRS एक शोध फ्रेमवर्क है, तैयार उत्पाद नहीं। लेखकों ने कोड खोल दिया है ताकि अन्य टीमें प्रयोगों को दोहरा सकें और विधि को अपने कार्यों के अनुकूल बना सकें। लेकिन दिशा पहले से स्पष्ट है: LLM के तर्क प्रबंधन धीरे-धीरे शब्दों के स्तर से छिपे हुए तंत्रों के स्तर पर स्थानांतरित हो रहा है, जो यह निर्धारित करते हैं कि मॉडल वास्तव में कैसे सोचता है, न कि केवल यह कि वह क्या कहता है।
