ओपन मॉडल्स की प्राइवेसी ऑडिट
पब्लिक वेट्स सुविधाजनक होते हैं, लेकिन वे एक छिपा जोखिम भी पैदा करते हैं। कोई कंपनी open-weight मॉडल लेकर उसे आंतरिक डेटा पर फाइन-ट्यून कर सकती है: चैट लॉग्स, मेडिकल डेटा या कॉर्पोरेट दस्तावेज़। उपयोगकर्ता को आमतौर पर पता नहीं होता कि ट्रेनिंग में कौन से रिकॉर्ड शामिल हुए, और नियामकों व ग्राहकों के लिए यह एक मूलभूत सवाल है। ट्रेनिंग सेट में "सदस्यता" की जाँच — membership inference — इसी सवाल का जवाब देती है: क्या मॉडल के व्यवहार से यह समझा जा सकता है कि कोई विशेष टेक्स्ट एडेप्टेशन में इस्तेमाल हुआ था?
समस्या इसलिए और जटिल हो जाती है क्योंकि हमारे पास आमतौर पर फाइन-ट्यूनिंग के बाद का चेकपॉइंट और उससे पहले का ओपन मॉडल ही होता है। दोनों चेकपॉइंट्स की एक ही अंश पर प्रतिक्रियाओं की तुलना करके, फाइन-ट्यूनिंग के प्रभाव को मॉडल के सामान्य व्यवहार से अलग करने की कोशिश की जा सकती है।
डिफ्यूज़न लैंग्वेज मॉडल्स की विशेषताएँ
क्लासिकल LLM टेक्स्ट को टोकन-दर-टोकन, बाएँ से दाएँ जनरेट करते हैं। डिस्क्रीट डिफ्यूज़न लैंग्वेज मॉडल (dLLM) अलग तरह से काम करते हैं: वे एक साथ कई मास्क्ड पोज़िशन्स को रिकंस्ट्रक्ट कर सकते हैं। अनुक्रमिक भविष्यवाणियों के बजाय, मॉडल इनपुट के रूप में मनमाने मास्क्स वाला टेक्स्ट लेता है और एक ही फॉरवर्ड पास में सभी "छिद्रों" के लिए प्रोबेबिलिटीज़ आउटपुट करता है।
यह क्षमता dLLM को प्राइवेसी ऑडिट के लिए विशेष रूप से दिलचस्प बनाती है। यदि यह जाँचना हो कि मॉडल किसी विशेष अंश को याद रखता है या नहीं, तो टोकन्स का एक हिस्सा छिपाकर प्रतिक्रिया देखी जा सकती है। हालाँकि, सवाल यह है कि किन पोज़िशन्स को मास्क किया जाए और प्रतिक्रिया की व्याख्या कैसे की जाए।
मास्क्स का सरल औसत क्यों काम नहीं करता
पहला विचार — कई अलग-अलग रैंडम मास्क्स आज़माकर रिकंस्ट्रक्शन एरर का औसत निकालना। पुराना SAMA दृष्टिकोण ठीक यही करता है: मॉडल को दर्जनों रैंडम वेरिएंट्स पर चलाया जाता है, और फिर सिग्नल का औसत निकाला जाता है।
इस समाधान की दो कमियाँ हैं। पहली, रैंडम मास्क्स अक्सर "उबाऊ" पोज़िशन्स को पकड़ लेते हैं, जिन्हें मॉडल फाइन-ट्यूनिंग के बिना भी समान रूप से भविष्यवाणी करता है — उपयोगी सिग्नल शोर में डूब जाता है। दूसरी, हर रन संसाधनों की खपत करता है: एक सैंपल के लिए मॉडल के कई दर्जन पास चाहिए, जो बड़े डेटासेट के पैमाने पर एक महँगा ऑपरेशन बन जाता है। मास्क्स को बेतरतीब ढंग से नहीं, बल्कि सोच-समझकर चुनने का तरीका चाहिए।
अनिश्चितता बताती है कि कहाँ मास्क करना है
नए प्रीप्रिंट के लेखकों ने JUMP (Joint Uncertainty-Guided Mask Probing) नामक विधि प्रस्तावित की है। विचार यह है कि रेफरेंस-मॉडल — फाइन-ट्यूनिंग से पहले का चेकपॉइंट — को "झूठ पकड़ने वाले यंत्र" के रूप में इस्तेमाल किया जाए।
पहले रेफरेंस-मॉडल को मूल टेक्स्ट पर चलाया जाता है और उन पोज़िशन्स को खोजा जाता है जहाँ उसे सबसे कम भरोसा है। माना जाता है कि फाइन-ट्यूनिंग के दौरान ऐसी जगहें सबसे अधिक बदलती हैं: यदि इन बिंदुओं पर विशिष्ट जानकारी बहती है, तो मॉडल को उसे सीखना ही पड़ा होगा। फिर इन कम-विश्वास वाली पोज़िशन्स को एक साथ मास्क किया जाता है, और टारगेट मॉडल उन्हें एक ही अनुरोध में रिकंस्ट्रक्ट करता है।
इसके बाद टारगेट और रेफरेंस मॉडल की रिकंस्ट्रक्शन के बीच के अंतर की तुलना की जाती है। यादृच्छिक विचलन को ध्यान में न रखने के लिए ट्रंकेशन लागू किया जाता है: एग्रीगेशन में केवल वे अंतर शामिल होते हैं जो एक निश्चित सीमा से परे जाते हैं। ऐसा "ट्रंकेटेड" अंतर असली सिग्नल को शोर से बेहतर ढंग से अलग करता है, और सूचनात्मक पोज़िशन्स का संयुक्त मास्किंग कंप्यूटेशन बचाता है।
परिणाम: कम पास — अधिक सटीकता
लेखकों ने अपनी जाँच MIMIR बेंचमार्क पर की, जो छह टेक्स्ट डोमेन को कवर करता है। परीक्षण के लिए दो open-weight डिफ्यूज़न मॉडल लिए गए: LLaDA-8B-Base और Dream-v0-Base-7B।
डोमेन के औसतन, LLaDA के लिए ROC-AUC मेट्रिक 0.819 से बढ़कर 0.902 हो गई, और Dream के लिए 0.851 से 0.942। यह एट्रिब्यूशन सटीकता में उल्लेखनीय वृद्धि है। साथ ही, JUMP प्रति सैंपल केवल तीन मॉडल पास खर्च करता है, जबकि SAMA को 32 की आवश्यकता होती है। दूसरे शब्दों में, विधि न केवल अधिक सटीक है, बल्कि इन्फरेंस की संख्या के मामले में लगभग दस गुना सस्ती भी है।
व्यावहारिक महत्व
प्रस्तावित दृष्टिकोण दिखाता है कि फाइन-ट्यून्ड डिफ्यूज़न मॉडल के ऑडिट के लिए ब्लाइंड मास्क्स को आज़माने की ज़रूरत नहीं है। रेफरेंस-मॉडल से यह पूछना पर्याप्त है कि उसे कहाँ भरोसा नहीं है, और जाँच को ठीक उन्हीं क्षेत्रों में केंद्रित करना है। यह एक ऐसा उपकरण देता है जिसका उपयोग open-weight मॉडल के अपडेट जारी करते समय और व्यक्तिगत डेटा आवश्यकताओं के अनुपालन की जाँच के लिए किया जा सकता है।
यह कार्य अभी प्रीप्रिंट की स्थिति में है — 22 पृष्ठ, वर्तमान संस्करण v2, 18 अगस्त 2026। फिर भी, समस्या की प्रस्तुति और मजबूत परिणाम यह उम्मीद जगाते हैं कि विधि का विस्तार होगा: अन्य प्रकार के डिफ्यूज़न आर्किटेक्चर के लिए अनुकूलन या अधिक आक्रामक फाइन-ट्यूनिंग परिदृश्यों के प्रति स्थिरता।
