चेकपॉइंट्स की जाँच क्यों करें, सिर्फ उनके उत्तरों की नहीं
ओपन मॉडल को तैनाती के लिए तैयार करते समय यह समझना महत्वपूर्ण है कि इसे किसने और कैसे बदला। सामान्य फाइन-ट्यूनिंग के अलावा, एब्लिटरेशन नामक एक तकनीक भी है — यह एक ऐसा तरीका है जो एक्टिवेशन से हानिकारक अनुरोधों को अस्वीकार करने के संकेत को चुन-चुनकर हटा देता है। मॉडल बाहरी रूप से मूल जैसा ही दिखता है, लेकिन वास्तव में आंतरिक 'रोक' के बिना काम करता है। ऐसे हस्तक्षेप को जनरेटेड आउटपुट से पहचानना मुश्किल है: रनटाइम गार्ड टेस्ट प्रॉम्प्ट चलाते हैं और उत्तरों का मूल्यांकन करते हैं, न कि स्वयं आर्टिफैक्ट का। यदि हानिकारक परिदृश्य परीक्षण सेट में शामिल नहीं है, तो किसी को भी संशोधन का पता नहीं चलेगा। इसलिए, एक ईमानदार वेट ऑडिट इन्फ्रेंस से पहले किया जाना चाहिए, न कि उसके दौरान।
जाँच के दो आयाम: एक्टिवेशन गैप और वेट्स में निशान
क्रिप्टोग्राफी और सुरक्षा के क्षेत्र में प्रस्तुत शोध, एक सस्ते दो-सिग्नल ऑडिट का वर्णन करता है जिसमें थ्रेशोल्ड चुनने की आवश्यकता नहीं होती और यह बाहरी व्यवहारिक परीक्षणों पर निर्भर नहीं करता। संदिग्ध चेकपॉइंट की तुलना एक प्रमाणित संदर्भ (attested reference) से दो आयामों पर की जाती है:
- Reference-anchored activation refusal-gap — उम्मीदवार और संदर्भ के बीच, अस्वीकृति से जुड़े एक्टिवेशन के बीच का अंतर। यदि एब्लिटरेशन ने अस्वीकृति पैटर्न मिटा दिया है, तो यह गैप ईमानदार फाइन-ट्यूनिंग की तुलना में अलग व्यवहार करता है।
- Weight-recovery energy — वेट रिकवरी की ऊर्जा: उम्मीदवार को बेस वर्जन पर वापस लाने के लिए पैरामीटर में कितना मजबूत बदलाव आवश्यक है। यह सिग्नल उन हस्तक्षेपों को भी पकड़ लेता है जो एक्टिवेशन पर लगभग कोई प्रभाव नहीं डालते।
सिग्नल नकारात्मक रूप से सहसंबद्ध हैं, इसलिए उनका संयुक्त z-सांख्यिकी प्रत्येक अक्ष की तुलना में अधिक जानकारीपूर्ण साबित होता है। पहला अक्ष विशिष्टता के लिए जिम्मेदार है: यह दिखाता है कि क्या अस्वीकृति तंत्र प्रभावित हुआ है। दूसरा पूर्णता के लिए: यह संशोधन को सूक्ष्म वेट परिवर्तनों में छिपाने से रोकता है।
व्यवहार में यह विधि कितनी विश्वसनीय है
ऑडिट का परीक्षण 273 चेकपॉइंट्स के रजिस्ट्री पर किया गया, जिसमें विभिन्न ओपन आर्किटेक्चर शामिल थे। नमूने के भीतर, संयुक्त z-सिग्नल ने लगभग बिना किसी त्रुटि के 57 सार्वजनिक एब्लिटरेशन को 37 सामान्य फाइन-ट्यूनिंग, मर्ज और इंस्ट्रक्शन-ट्यूनिंग मामलों से अलग किया: AUROC 0.95। अलग-अलग, वही सिग्नल काफी खराब परिणाम देते हैं — 0.84 और 0.90। दिलचस्प बात यह है कि यूडेन इंडेक्स द्वारा कैलिब्रेट किया गया थ्रेशोल्ड, नए, पहले से न देखे गए मॉडल परिवारों पर भी लागू होता है। वहाँ balanced accuracy 0.89 थी, जिसमें गलत सकारात्मक दर 0.11 थी। 57 एब्लिटरेशन में से, विधि ने केवल 4 को छोड़ा — प्राथमिक फ़िल्टर के मानकों के अनुसार यह एक अच्छा परिणाम है।
कमजोर बिंदु: जब दोनों आयाम धोखा खा जाते हैं
दो सिग्नलों पर आधारित कोई भी ऑडिट सभी हमले के परिदृश्यों को कवर नहीं कर सकता। लेखक ईमानदारी से दो प्रकार की विफलताओं की सूची देते हैं।
पहला — नकली संदर्भ। यदि हमलावर संदर्भ बिंदु को नियंत्रित करता है, तो वह एक ऐसा मानक चुन सकता है जिससे base-to-candidate का अंतर निर्माण के अनुसार शून्य हो जाए। तब मॉडल को प्रशिक्षित करने की भी आवश्यकता नहीं होती: दोनों आयाम सामान्य दिखाएंगे।
दूसरा — थ्रेशोल्ड पर white-box हमला। यदि वेट के मालिक के पास मॉडल तक पूर्ण पहुंच है, तो वह जानबूझकर चेकपॉइंट को इस तरह फाइन-ट्यून कर सकता है कि वह निर्णय सीमा के बाहर हो, लेकिन फिर भी गार्ड के दृष्टिकोण से असुरक्षित बना रहे और सुसंगतता बनाए रखे।
यही कारण है कि लेखक इस दृष्टिकोण को प्रभावी ट्राइएज कहते हैं, न कि हस्तक्षेप से सुरक्षा। यह स्पष्ट रूप से साफ और संदिग्ध चेकपॉइंट्स को जल्दी से अलग करने की अनुमति देता है, लेकिन यह सुरक्षा का एकमात्र अवरोध नहीं हो सकता।
निष्कर्ष: पहले फ़िल्टर के लिए एक उपकरण
दो-सिग्नल जाँच अच्छी है क्योंकि इसमें केवल एक विश्वसनीय संदर्भ और दो सस्ते माप की आवश्यकता होती है, और परिणाम को किसी विशिष्ट रजिस्ट्री के अनुसार आसानी से कैलिब्रेट किया जा सकता है। मुख्य सीमाएँ — प्रमाणित मानक पर निर्भरता और लक्षित white-box हमले के प्रति संवेदनशीलता। इसके अलावा, आँकड़े अभी केवल एक रजिस्ट्री पर एकत्र किए गए हैं, इसलिए बहुत भिन्न आर्किटेक्चर पर सटीकता बदल सकती है। फिर भी, ओपन वेट्स के पारिस्थितिकी तंत्र के लिए यह एक व्यावहारिक कदम है: पहले सतही जनरेशन परीक्षणों और पूर्ण रिवर्स-इंजीनियरिंग के बीच चयन करना पड़ता था, और अब एक मध्यवर्ती विकल्प उपलब्ध है जिसे पहले फ़िल्टर के रूप में इस्तेमाल किया जा सकता है।
