बड़ी भाषा मॉडल शायद ही कभी उपयोगकर्ता से अपने मूल रूप में मिलती है। लॉन्च से पहले इसे संवादों के लिए फाइन-ट्यून किया जाता है, संपीड़ित किया जाता है, क्वांटाइज़ किया जाता है, और कुछ वज़न हटा दिए जाते हैं। इनमें से प्रत्येक कदम व्यावहारिक लाभ लाता है, लेकिन लगभग हमेशा एक निशान छोड़ जाता है: मॉडल बदतर तर्क करना शुरू कर सकता है, दुर्लभ तथ्यों को भूल सकता है, या शैली की समझ खो सकता है। सवाल यह है कि क्या विशाल डेटासेट पर पूर्ण पुनःप्रशिक्षण के बिना कौशल वापस लाए जा सकते हैं।
फाइन-ट्यूनिंग और संपीड़न के बाद गुणवत्ता को नुकसान क्यों होता है
विनाशकारी विस्मृति आमतौर पर Supervised Fine-Tuning (SFT) के साथ आती है। मॉडल को उत्तरों के नए प्रारूप के अनुकूल बनाया जाता है, और वज़न का अद्यतन अनजाने में पुराने ज्ञान के एक हिस्से को अधिलेखित कर देता है। क्वांटाइज़ेशन और प्रूनिंग अलग तरह से काम करते हैं: वे मेमोरी बचाते हैं और इन्फ़रेंस को तेज़ करते हैं, लेकिन सटीक गणनाओं को अनुमानित गणनाओं से बदल देते हैं और कुछ कनेक्शन बंद कर देते हैं। परिणामस्वरूप, न केवल मॉडल का व्यवहार विकृत होता है, बल्कि उसका आंतरिक ज्ञान प्रतिनिधित्व भी विकृत होता है।
बाहरी लक्षण अलग-अलग हो सकते हैं — तथ्यात्मक सटीकता के नुकसान से लेकर नीरस उत्तरों तक। हालाँकि, कारण सामान्य है: छिपे हुए स्थान की संरचना, जिसमें मॉडल "सोचता" है, मूल संस्करण की तुलना में भिन्न हो जाती है।
पुनःप्रशिक्षण के बजाय स्व-आसवन
arXiv:2604.15794 में शोधकर्ताओं ने Self-Distillation Fine-Tuning (SDFT) फ्रेमवर्क प्रस्तावित किया। विचार यह है कि मॉडल को ही पुनर्प्राप्ति के स्रोत के रूप में उपयोग किया जाए। क्षतिग्रस्त संस्करण छात्र की भूमिका निभाता है, और उसका "स्वस्थ" संस्करण — जो संपीड़न या SFT से पहले सहेजा गया था — शिक्षक की भूमिका निभाता है। फाइन-ट्यूनिंग चरण के दौरान, छात्र अपने उत्तरों और आंतरिक अवस्थाओं को समायोजित करता है ताकि शिक्षक के करीब पहुँच सके।
यह बड़े मॉडल से छोटे मॉडल में ज्ञान का शास्त्रीय हस्तांतरण नहीं है। यहाँ शिक्षक और छात्र वास्तव में जीवन के विभिन्न चरणों में एक ही आर्किटेक्चर हैं। इसलिए इस प्रक्रिया को स्व-आसवन कहा जाता है: मॉडल कुछ भी मौलिक रूप से नया नहीं सीखता, बल्कि अपनी खोई हुई आंतरिक सुसंगतता को पुनः प्राप्त करता है।
छिपे हुए मैनिफोल्ड्स का संरेखण क्या दर्शाता है
लेखक इस धारणा से चलते हैं कि LLM की जनरेटिव क्षमताएँ मौलिक रूप से उच्च-आयामी मैनिफोल्ड पर निर्भर करती हैं जो छिपी हुई परतें बनाती हैं। मॉडल की गुणवत्ता व्यक्तिगत न्यूरॉन्स से नहीं, बल्कि इस बात से निर्धारित होती है कि उस स्थान में सक्रियताएँ कैसे व्यवस्थित हैं। उन्हें बिंदुओं के बादल के रूप में कल्पना की जा सकती है: एक अच्छी तरह से प्रशिक्षित मॉडल में बादल की एक विशिष्ट संरचना होती है, और संपीड़न या विस्मृति इसे नष्ट कर देती है।
पुनर्प्राप्ति को मापने के लिए, कार्य Centered Kernel Alignment (CKA) का उपयोग करता है — शिक्षक और छात्र के आंतरिक प्रतिनिधित्व की समानता का एक मीट्रिक। CKA सुविधाजनक है क्योंकि यह ऑर्थोगोनल परिवर्तनों और स्केलिंग के प्रति अपरिवर्तनीय है। यह समान घुमावों या निर्देशांकों के खिंचाव पर ध्यान नहीं देता, बल्कि सक्रियताओं के विन्यास में वास्तविक परिवर्तन को पकड़ता है।
प्रयोगों ने प्रदर्शन की पुनर्प्राप्ति और CKA-संरेखण में वृद्धि के बीच एक मजबूत सहसंबंध दिखाया। छात्र का मैनिफोल्ड शिक्षक के मैनिफोल्ड के जितना करीब होता है, मॉडल उतने ही बेहतर ढंग से खोए हुए कौशल को वापस लाता है। यह पुष्टि करता है: स्व-आसवन संयोग से नहीं, बल्कि इसलिए काम करता है क्योंकि यह छिपे हुए स्थान की ज्यामितीय संरचना को संरेखित करता है।
व्यावहारिक निष्कर्ष
आसवन के माध्यम से मॉडल को पुनर्स्थापित करने का विचार अपने आप में नया नहीं है। दृष्टिकोण की नवीनता — यह समझाने में है कि यह क्यों काम करता है, और इस स्पष्टीकरण को सत्यापित करने के तरीके में। CKA एक नैदानिक उपकरण बन सकता है: यदि क्वांटाइज़ेशन या प्रूनिंग के बाद संरेखण तेजी से गिरता है, तो मॉडल को "मरम्मत" की आवश्यकता होती है। SDFT, बदले में, प्रशिक्षण के पूर्ण चक्र पर लौटे बिना इस मरम्मत को करने की अनुमति देता है।
यह कार्य प्रदर्शन पुनर्प्राप्ति के व्यावहारिक फ्रेमवर्क को प्रतिनिधित्व के ज्यामितीय सिद्धांत से जोड़ता है। यह एक स्पष्ट तस्वीर देता है कि संपीड़न के दौरान LLM के अंदर क्या होता है और स्व-आसवन खोई हुई क्षमताओं को वापस लाने में सक्षम क्यों है।
