जब "भूला हुआ" वापस आता है
बड़े भाषा मॉडलों को अनसीखा करने (unlearning) की प्रक्रिया आमतौर पर प्रभावशाली दिखती है: अवांछित जानकारी हटाने की प्रक्रिया के बाद, मॉडल प्रतिबंधित विषय पर टेक्स्ट देना बंद कर देता है। लेकिन ऐसी सफाई शायद ही कभी स्थायी होती है। यदि इसके बाद उसी डेटा के एक छोटे से हिस्से पर सामान्य फाइन-ट्यूनिंग की जाए, तो ज्ञान लगभग बिना किसी प्रयास के वापस आ जाता है। TOFU डेटासेट के प्रयोगों से पता चलता है कि केवल बीस भूली हुई उदाहरणों पर दोबारा प्रशिक्षण देने से, सभी ज्ञात अनसीखा करने के तरीकों के लिए लक्ष्य सेट पर मेट्रिक्स काफी हद तक बहाल हो सकते हैं। यहाँ मुद्दा किसी विशेष तकनीक की गुणवत्ता का नहीं है, बल्कि अनुकूलन प्रक्रिया के गुणों का है: भूलने की प्रक्रिया के बाद नुकसान की एक विशेष ज्यामिति बनती है, जिसके माध्यम से दोबारा प्रशिक्षण आसानी से वापसी का रास्ता बना लेता है।
मार्जिन क्लिफ: ज्ञान वापसी का एक समान परिदृश्य
वैज्ञानिकों ने चौदह पोस्ट-हॉक अनसीखा करने के तरीकों — ग्रेडिएंट-आधारित, प्राथमिकता-आधारित और डिस्टिलेशन-आधारित — के व्यवहार का विश्लेषण किया और एक अजीब प्रवृत्ति खोजी। प्रत्येक विधि और मॉडल आकार के लिए, व्यक्तिगत टोकन स्तर पर उत्तर के मार्जिन को मापा जा सकता है, यानी वह अंतर जिसके साथ मॉडल एक टोकन को दूसरे पर प्राथमिकता देता है। यह पता चला कि अनसीखा करने के बाद, यह मार्जिन लगभग हमेशा एक संकीर्ण पट्टी में परिवर्तित हो जाता है, जो बनाए रखे गए (retain) डेटासेट द्वारा निर्धारित स्तर से थोड़ा ऊपर स्थित होता है। यह घटना 42 संभावित विधि-मॉडल आकार संयोजनों में से 41 में देखी गई, और इसे "मार्जिन क्लिफ" नाम दिया गया — भूवैज्ञानिक चट्टान के अनुरूप, जिसके बाद कुछ भी नहीं होता।
क्लिफ क्यों उत्पन्न होता है
गणितीय रूप से यह दिखाना संभव था कि क्लिफ तब उत्पन्न होता है जब retain-सेट के साथ संबंध भूली हुई सामग्री के डायग्नोस्टिक लॉगिट्स को एक निश्चित सीमा से ऊपर बनाए रखते हैं। यह अनुकूलन को रोकने के लिए पर्याप्त है: टोकन-संतृप्त करने वाले तरीकों का मूल नुकसान फ़ंक्शन एक स्थिर बिंदु तक पहुँच जाता है, हालाँकि भूलना अभी भी सुनिश्चित नहीं है। प्रयोग के 42 में से 34 कोशिकाओं पर जाँच ने पुष्टि की कि यह वास्तव में नुकसान की संतृप्ति है जो उस "झूठी सफलता" का निर्माण करती है, जिसके कारण ज्ञान की वापसी तुच्छ हो जाती है।
मार्जिन कैलिब्रेशन: क्लिफ को कैसे ठीक करें
कार्य के लेखक मार्जिन कैलिब्रेशन (MC) नामक एक प्लगइन-पॉलिश का प्रस्ताव करते हैं। यह अनसीखा करने का एक स्वतंत्र तरीका नहीं है, बल्कि एक अतिरिक्त मॉड्यूल है जो किसी भी मौजूदा दृष्टिकोण के ऊपर लगाया जाता है। संतृप्त होने वाले नुकसान पर निर्भर रहने के बजाय, MC एक गैर-संतृप्त मार्जिनल हिंज जोड़ता है: यह किसी विशेष टोकन के प्रति-टोकन मार्जिन की तुलना retain-डेटा पर प्राप्त संदर्भ उत्तर के मार्जिन से करता है। इसके अतिरिक्त, मूल प्रशिक्षण वितरण से असंबंधित निर्देशों के एक कॉर्पस पर एक KL-प्रोब लागू किया जाता है। इस तरह के हाइब्रिड दबाव के कारण, भूलने वाले पक्ष पर सिग्नल की ताकत को ठीक उन्हीं जगहों पर बहाल करना संभव हो जाता है जहाँ मूल नुकसान एक स्थिर बिंदु में "फंस गया" था।
सैद्धांतिक भाग आत्मविश्वास जोड़ता है: यदि विभिन्न घटकों के ग्रेडिएंट प्रभुत्व में संरेखित हैं, तो MC का स्थिर सेट क्लिफ के साथ प्रतिच्छेदन की ओर होता है। यह मार्जिन बढ़ाने के हमले के बजट की ऊपरी सीमा का अनुमान लगाने की संभावना देता है: यदि कोई हमलावर प्रशिक्षण दोहराने की कोशिश करता है, तो उसे गंभीर प्रतिरोध से गुजरना होगा, न कि पॉलिश की गई ढलान से फिसलकर निकल जाना होगा।
परिणाम: हमलों पर जीत और कीमत का सवाल
MC की प्रभावशीलता तीन बेंचमार्क पर जाँची गई: तीन Llama-3 मॉडल आकारों और तीन भूलने के स्तरों के साथ TOFU, Llama-2-7B-hf पर MUSE-News, और एक अलग Phi-3.5 पैनल। किसी विशेष मामले के लिए कॉन्फ़िगरेशन बदले बिना, प्लगइन-पॉलिश ने सभी 14 जोड़ीदार forget-एग्रीगेट तुलनाएँ जीतीं और पुनः प्रशिक्षण परीक्षण की सभी उपलब्ध कोशिकाओं को भर दिया। आंकड़े खुद बोलते हैं: हमले के बाद पैनल-औसत ROUGE-L मेट्रिक 0.41 से गिरकर 0.18 हो गई — यानी मॉडल ने भूली हुई सामग्री को लगभग पुन: पेश करना बंद कर दिया, भले ही उसे "फिर से प्रशिक्षित" करने की कोशिश की गई हो। इसके अतिरिक्त, MC ने 14 में से 13 मामलों में कच्ची सदस्यता AUC (यह निर्धारित करने वाली मेट्रिक कि डेटा प्रशिक्षण सेट में था या नहीं) को कम कर दिया।
हालाँकि, इसका एक नकारात्मक पहलू भी है। सभी प्रयोगों में retain-पक्ष पर मॉडल की उपयोगिता में कमी दर्ज की गई: प्लगइन अनसीखा करने को गहरा बनाता है, लेकिन साथ ही मॉडल बनाए रखे गए ज्ञान से संबंधित कार्यों को बदतर तरीके से करता है। इस समझौते को अनुप्रयोग परिदृश्य में शामिल किया जाना चाहिए: उन कार्यों के लिए जहाँ retain-डेटा पर प्रदर्शन महत्वपूर्ण है, थ्रेशोल्ड की बारीक ट्यूनिंग या हल्के नियमितीकरण की आवश्यकता होगी।
बिना retain-संदर्भ के उत्पादन संस्करण
ऊपर वर्णित MC योजना retain-डेटा पर प्रशिक्षित "संदर्भ" उत्तर से प्राप्त संदर्भ मार्जिन पर निर्भर करती है। लेकिन व्यवहार में, अक्सर मूल प्रशिक्षण वितरण तक पहुँच नहीं होती है। ऐसे मामलों के लिए, एक अलग परिनियोजन संस्करण प्रदान किया गया है: यह retain-प्रशिक्षित संदर्भ का उपयोग किए बिना समान सुधार प्राप्त करने की अनुमति देता है, इसे पूर्व-निर्धारित थ्रेशोल्ड या सामान्य निर्देश कॉर्पस से नियंत्रण मार्जिन के साथ बदल देता है। यह विधि को वास्तविक उत्पादों में लागू करने योग्य बनाता है, जहाँ अनसीखा करने के लिए डेटा पहले ही सिस्टम से हटा दिया गया है और संदर्भ की बहाली असंभव या गोपनीयता नीति द्वारा निषिद्ध है।
निष्कर्ष
अध्ययन से मुख्य व्यावहारिक निष्कर्ष: भाषा मॉडलों के अनसीखा करने को तब तक विश्वसनीय नहीं माना जा सकता जब तक कि अनुकूलन ज्यामिति पर विचार नहीं किया जाता। "मार्जिन क्लिफ" बताता है कि कागज पर कई आकर्षक तरीके पुनः प्रशिक्षण के कमजोर हमलों का भी सामना क्यों नहीं कर पाते, और आगे के काम के लिए दिशा दिखाता है। मार्जिन कैलिब्रेशन पहले प्लगइन्स में से एक है जो उद्देश्यपूर्ण रूप से इस घटना से लड़ता है, और भले ही यह अभी तक बिना दुष्प्रभावों के समस्या का समाधान नहीं करता, यह सही ढांचा निर्धारित करता है: "एक बार भूल गए — हमेशा के लिए भूल गए" के बजाय, किसी ऐसे नुकसान परिदृश्य के निर्माण के बारे में सोचना चाहिए जहाँ भूली हुई चीज़ की वापसी लाभहीन और ऊर्जावान रूप से महंगी हो।
