ऐसे मॉडल जो छवियों और पाठ के साथ एक साथ काम करते हैं, उन्होंने प्रभावशाली ढंग से सीखा है: वे वस्तुओं को पहचानते हैं, चित्रों के बारे में सवालों के जवाब देते हैं और ज्ञान को नए कार्यों में स्थानांतरित करते हैं। हालाँकि, इस सफलता के पीछे अक्सर एक गैर-स्पष्ट कमजोरी छिपी होती है: मॉडल वस्तु के वास्तविक गुणों को याद नहीं रखता, बल्कि साथ की विशेषताओं को याद रखता है जो "शॉर्टकट" का काम करती हैं। प्रॉम्प्ट की प्रतिकूल ट्यूनिंग मॉडल को अधिक मजबूत बनाने का एक तरीका है, लेकिन इसमें भी एक जाल है। आइए समझते हैं कि मॉडल गलत चीज़ क्यों सीखता है, और नया दृष्टिकोण उपयोगी और भ्रामक विशेषताओं को अलग करने का प्रस्ताव कैसे देता है।
मॉडल गलत चीज़ क्यों सीखता है
जब विज़ुअल-भाषा मॉडल को शोर या प्रतिकूल उदाहरणों वाले डेटा पर फाइन-ट्यून किया जाता है, तो यह तार्किक लगता है कि मजबूती समान रूप से बढ़ेगी। व्यवहार में इसका उल्टा होता है: पहले से देखे गए वर्गों पर मॉडल उत्कृष्ट परिणाम दिखाता है, लेकिन नए, अनदेखे वर्गों पर प्रतिकूल हमलों के आने पर गुणवत्ता तेजी से गिरती है। इस घटना को मजबूत सामान्यीकरण का अति-अनुकूलन कहा जाता है।
इसका कारण यह है कि मॉडल छद्म-मजबूत विशेषताओं पर निर्भर होने लगता है — यादृच्छिक पैटर्न के सेट जो हमले से बच जाते हैं, लेकिन वस्तु के सार को प्रतिबिंबित नहीं करते। उदाहरण के लिए, मॉडल पृष्ठभूमि की बनावट, विशिष्ट छायाएँ, या विशेष शोर याद कर सकता है जो प्रशिक्षण उदाहरणों में था। ऐसी विशेषताएँ प्रतिकूल गड़बड़ी की परीक्षा पास कर लेती हैं, लेकिन नए डेटा पर काम नहीं करतीं। मॉडल सामग्री पर नहीं, बल्कि शॉर्टकट-संकेतों पर अति-अनुकूलित हो जाता है — और प्रशिक्षण जितना लंबा होता है, अनदेखे वर्गों पर गिरावट उतनी ही मजबूत होती है।
विशेषताओं को कैसे अलग करें: ADAPT का विचार
लेखक एक असामान्य दर्शन से शुरू करते हैं: मॉडल को केवल आवश्यक विशेषताएँ सिखाने के बजाय, उसे स्पष्ट रूप से वह भी सिखाना चाहिए जो नहीं सीखना चाहिए। इस तरह ADAPT (Adversarial Disentangled Prompt Tuning) विधि का जन्म हुआ।
मुख्य विचार — एक साथ दो प्रकार के प्रॉम्प्ट का उपयोग करना:
- लक्ष्य प्रॉम्प्ट — यह सुनिश्चित करने के लिए ज़िम्मेदार है कि मॉडल स्थिर, सामान्यीकरण योग्य विशेषताओं को उजागर करे।
- चारा प्रॉम्प्ट — अतिरिक्त प्रॉम्प्ट का एक विशेष पूल जो जानबूझकर छद्म-मजबूत पैटर्न को "अपने ऊपर ले लेता है"।
प्रशिक्षण के दौरान चारा प्रॉम्प्ट आपस में प्रतिस्पर्धा करते हैं: उनमें से प्रत्येक एक निश्चित प्रकार के यादृच्छिक लेबल को पकड़ने की कोशिश करता है। और लक्ष्य प्रॉम्प्ट को एम्बेडिंग स्पेस में चारा प्रॉम्प्ट के लिए जबरन ऑर्थोगोनल बनाया जाता है। इस तरह स्थिर विशेषताएँ भ्रामक विशेषताओं से अलग हो जाती हैं: जो चारा पहले ही "सीख" चुके हैं, उसका उपयोग लक्ष्य प्रॉम्प्ट नहीं कर सकता।
दोहरे प्रॉम्प्ट की कार्यप्रणाली
व्यवहार में यह श्रम विभाजन जैसा दिखता है। चारा प्रॉम्प्ट अंतिम भविष्यवाणी के लिए आवश्यक नहीं होते — उनका काम विरासत में मिली विकृतियों के लिए "कचरा टोकरी" बनना है। लक्ष्य प्रॉम्प्ट बाधा की स्थिति में प्रशिक्षित होता है: उसका वेक्टर चारा की दिशा से मेल नहीं खाना चाहिए। एम्बेडिंग स्पेस में ऑर्थोगोनैलिटी का मतलब है कि चारा द्वारा उपयोग की गई विशेषताएँ लक्ष्य प्रॉम्प्ट के निर्णय को प्रभावित नहीं करतीं। परिणामस्वरूप, मॉडल गहरे, कारणात्मक पैटर्न खोजने के लिए मजबूर होता है।
विभाजन क्यों काम करता है
ऑर्थोगोनैलिटी — केवल एक तकनीकी तरीका नहीं है, बल्कि सैद्धांतिक गारंटी देने का एक तरीका है। विधि का विश्लेषण दिखाता है: एक विशेष लॉस फ़ंक्शन अनदेखे वर्गों के लिए भविष्यवाणियों पर छद्म-मजबूत विशेषताओं के बदलावों के प्रभाव को सीमित करता है।
संक्षेप में: भले ही चारा बहुत सारी अतिरिक्त जानकारी इकट्ठा कर लें, यह जानकारी लक्ष्य प्रॉम्प्ट में "लीक" नहीं हो सकती। इसलिए, डेटा वितरण में बदलाव जो देखे गए वर्गों से अनदेखे वर्गों में संक्रमण के दौरान होते हैं, मॉडल की त्रुटि को कम प्रभावित करते हैं। यह दृष्टिकोण प्रतिकूल उदाहरणों पर अधिक पूर्वानुमानित व्यवहार देता है और एक वर्ग की मजबूती को दूसरे वर्ग की कीमत पर बलिदान नहीं करता।
प्रयोगों ने क्या दिखाया
व्यावहारिक परीक्षण पुष्टि करते हैं: ADAPT मौजूदा प्रतिकूल ट्यूनिंग विधियों की तुलना में अनदेखे वर्गों पर लक्ष्य प्रॉम्प्ट की मजबूती में उल्लेखनीय सुधार करता है। मॉडल केवल विशिष्ट हमलों से सुरक्षा याद नहीं रखता, बल्कि अधिक स्वच्छ विशेषताएँ बनाता है जो नई सामग्री पर काम करती हैं।
बेशक, झूठे पैटर्न से पूरी तरह छुटकारा पाना अभी संभव नहीं है — कार्य-कारण और सहसंबंध को अलग करने का कार्य मशीन लर्निंग में सबसे कठिन में से एक बना हुआ है। लेकिन "वह सिखाना जो नहीं सीखना चाहिए" का दृष्टिकोण एक व्यावहारिक दिशा देता है: कभी-कभी मॉडल को सिखाने का सबसे अच्छा तरीका उसे दिखाना है कि क्या अनदेखा करना है।
व्यवसायियों के लिए मुख्य निष्कर्ष: विज़ुअल-भाषा मॉडल को ट्यून करते समय, न केवल प्रशिक्षण डेटा पर सटीकता की वृद्धि पर ध्यान देना चाहिए, बल्कि इस पर भी कि मॉडल किन विशेषताओं पर निर्भर करता है। यदि प्रशिक्षण प्रक्रिया में यादृच्छिक पैटर्न के लिए "जाल" जोड़े जाएँ — उदाहरण के लिए, ऑर्थोगोनैलिटी के साथ दोहरे प्रॉम्प्ट के माध्यम से — तो न केवल अधिक विश्वसनीय, बल्कि अधिक ईमानदार मॉडल भी प्राप्त किया जा सकता है।
