TeachBack: द्विपक्षीय प्राथमिकता ट्यूनिंग मेंटर मॉडल को मानक उत्तर दोहराने के बजाय समस्या का अन्वेषण करना सिखाती है

सटीक Teacher उपयोगी सुपरविज़न की गारंटी क्यों नहीं देता

On-policy self-distillation (OPSD) भाषा मॉडल को Teacher से सीखने देता है। Teacher के आधार में वही मॉडल होता है। साथ ही, Teacher को विशेषाधिकार-प्राप्त जानकारी उपलब्ध होती है। ऐसी जानकारी का एक उदाहरण है संदर्भ समाधान। इसकी उपलब्धता Teacher को अत्यधिक सटीक ट्रैजेक्टरी जनरेट करने देती है।

हालाँकि, ट्रैजेक्टरी की सटीकता इस बात की गारंटी नहीं देती कि वे Student के लिए उपयोगी होंगी। पूरे समाधान तक पहुँच से संक्षिप्त निष्कर्ष निकल सकते हैं। इन निष्कर्षों का कारण संदर्भ समाधान होता है। उनमें खोज, जाँच और आत्म-सुधार शामिल नहीं होते। विशेषाधिकार-प्राप्त जानकारी के बिना समस्याएँ हल करने के लिए ये सभी चीज़ें ज़रूरी हैं।

Student को सिखाने के लिए उपयुक्त ट्रैजेक्टरी की विशेषताएँ:

• समस्या की पड़ताल करती है;
• मध्यवर्ती चरणों की जाँच शामिल करती है;
• आत्म-सुधार दिखाती है;
• संदर्भ समाधान से निकाले गए संक्षिप्त निष्कर्ष को दोहराती नहीं है।

व्यावहारिक कसौटी: सुपरविज़न का मूल्यांकन तर्क की संरचना के आधार पर करें, न कि केवल उत्तर की शुद्धता के आधार पर।

TeachBack Teacher के व्यवहार को कैसे बदलता है

TeachBack, OPSD के लिए प्राथमिकताओं पर आधारित द्विदिशात्मक प्रशिक्षण का एक फ़्रेमवर्क है। यह Student को Teacher से सीखना सिखाता है। यह यह भी तय करता है कि Teacher को किस तरह पढ़ाना चाहिए।

यह फ़्रेमवर्क Teacher के व्यवहार को दो तरीकों से नियंत्रित करता है:

• प्रॉम्प्ट में संदर्भ-आधारित तर्क के प्रत्यय की लंबाई नियंत्रित करता है;
• प्रॉम्प्ट की शैली बदलता है।

समान सटीकता बनाए रखते हुए, Teacher समस्या की पड़ताल करना और उसे नए सिरे से हल करना शुरू करता है। Teacher संदर्भ समाधान पर कम निर्भर करता है।

व्यावहारिक कसौटी: जाँचें कि Teacher खोज और सत्यापन की प्रक्रिया को दोहराता है या नहीं। विशेषाधिकार-प्राप्त जानकारी के बिना Student को प्रशिक्षित करने के लिए संदर्भ समाधान से निकाला गया संक्षिप्त निष्कर्ष उपयुक्त नहीं है।

द्विदिशात्मक प्राथमिकताओं की कार्यप्रणाली

हर rollout अपडेट के दौरान साझा नीति दो ट्रैजेक्टरी जनरेट करती है। पहली है Teacher की विशेषाधिकार-प्राप्त ट्रैजेक्टरी। दूसरी है Student की ट्रैजेक्टरी, जिसमें उसे केवल समस्या का विवरण उपलब्ध होता है।

जोड़ी-आधारित प्राथमिकता फ़ंक्शन Student के प्रशिक्षण को बेहतर बनाने के लिए Teacher की विशेषाधिकार-प्राप्त ट्रैजेक्टरी का उपयोग करता है। उलटी प्राथमिकता Student के व्यवहार का उपयोग करती है। यह विशेषाधिकार-प्राप्त परिस्थितियों में Teacher के भावी सुपरविज़न को आकार देती है।

व्यावहारिक कसौटी: ऐसी उलटी प्राथमिकता मौजूद होनी चाहिए जो Student के व्यवहार का उपयोग करती हो।

प्रयोग क्या दिखाते हैं

प्रयोग तर्क-आधारित कार्यों पर TeachBack की जाँच करते हैं। परिणाम:

• कार्य — गणितीय और तार्किक तर्क;
• तुलना का आधार — OPSD के मौजूदा तरीके और उनसे संबंधित आधारभूत तरीके;
• प्रभाव — Student के परिणामों में लगातार सुधार।

चुनाव की व्यावहारिक कसौटी: ऐसे तर्क-आधारित कार्य चुनें जिनमें Student बिना संदर्भ समाधान के समस्या हल करता हो।