ब्लैक-बॉक्स जेलब्रेक: समान संख्या में मॉडल कॉल पर हमलों की तुलना क्यों करें

जेलब्रेक एक समस्या क्यों है — परिचय

आधुनिक भाषा मॉडल हानिकारक या खतरनाक अनुरोधों को अस्वीकार करने का प्रयास करते हैं, लेकिन कोई भी सुरक्षा पूर्ण नहीं है। जेलब्रेक हमले ऐसे प्रॉम्प्ट बनाते हैं जो इन प्रतिबंधों को दरकिनार कर देते हैं: वे एक काल्पनिक परिदृश्य की कल्पना करने, भूमिका बदलने, कार्य को "सुरक्षित" तरीके से फिर से लिखने आदि के लिए कहते हैं। शोधकर्ता और सुरक्षाकर्मी यह समझना चाहते हैं कि ऐसे हमले वास्तव में कितने खतरनाक हैं।

अधिकांश हमले ब्लैक-बॉक्स मोड में काम करते हैं: हमलावर के पास मॉडल के वेट तक पहुँच नहीं होती, उसके आंतरिक तंत्र का विश्लेषण करने की क्षमता नहीं होती। केवल API होता है, जिसमें अनुरोध भेजकर उत्तर प्राप्त किए जा सकते हैं। इसलिए हमलावर के सभी प्रयास टेक्स्ट चुनने तक सीमित रह जाते हैं। यह आकलन करने के लिए कि हमला कितना अच्छा है, यह समझना आवश्यक है कि न केवल सुरक्षा को दरकिनार करने में सफलता मिली या नहीं, बल्कि किस कीमत पर।

आमतौर पर एक सरल मीट्रिक का उपयोग किया जाता है — सफल प्रयासों का अनुपात (ASR)। लेकिन यह नहीं दिखाता कि कितने अनुरोध करने पड़े। और वास्तव में, मॉडल तक पहुँच की संख्या ही अक्सर व्यवहार में मुख्य सीमा बन जाती है: जितने अधिक अनुरोध, उतनी अधिक संभावना कि आप पकड़े जाएँ, उतना ही महंगा हमला समय और धन के दृष्टिकोण से।

ASR एक भ्रामक मीट्रिक के रूप में

आइए हमले के दो तरीकों की कल्पना करें। पहला सैकड़ों प्रॉम्प्ट विकल्पों को आज़माता है, जब तक कि एक काम न कर जाए। दूसरा पहले से सत्यापित टेम्पलेट का उपयोग करता है और तीन प्रयासों में परिणाम प्राप्त करता है। यदि दोनों की सफलता दर समान है, तो ASR को देखने पर वे समान दिखेंगे। लेकिन वास्तविक परिस्थितियों में दूसरा तरीका स्पष्ट रूप से अधिक खतरनाक है: यह तेज़, सस्ता है और कम निशान छोड़ता है।

यही कारण है कि केवल ASR से तुलना करना निशानेबाजों की प्रतियोगिता जैसा है, जहाँ एक तीन मीटर से गोली चलाता है और दूसरा तीस मीटर से, लेकिन जीत हिट की संख्या से तय होती है। शर्तों को ध्यान में रखे बिना परिणाम अर्थहीन है। जेलब्रेक के लिए ऐसी शर्त मॉडल तक पहुँच का बजट होना चाहिए।

Fair-ASR: पहुँच की गणना

arXiv पर हालिया कार्य में शोधकर्ताओं ने Fair-ASR प्रोटोकॉल प्रस्तावित किया। इसका सार — समान सीमित संख्या में लक्षित कॉल पर हमलों की तुलना करना है। लक्षित कॉल — यह सीधे हमला किए गए मॉडल तक पहुँच है: प्रॉम्प्ट भेजा, उत्तर मिला। ऐसी सीमा को नियंत्रित करना आसान है, यह सभी तरीकों के लिए समान है और मॉडल के आंतरिक ज्ञान की आवश्यकता नहीं होती।

यह क्यों महत्वपूर्ण है? कुछ मीट्रिक कम्प्यूटेशनल जटिलता को ध्यान में रखने की कोशिश करते हैं, उदाहरण के लिए, FLOPS के माध्यम से। लेकिन बंद और मालिकाना मॉडल के लिए ऐसे अनुमान सटीक नहीं होते। और पहुँच की संख्या — एक सीधा और स्पष्ट संकेतक है। यदि एक हमला 10 अनुरोधों में सफल होता है, और दूसरे को 1000 की आवश्यकता होती है, तो 10 के बजट पर दूसरा बस नहीं हो पाएगा।

साथ ही शोधकर्ता तथाकथित हमलावर कॉल पर अलग से नज़र रखने का सुझाव देते हैं — सहायक उपकरणों तक पहुँच, जैसे कि एक और भाषा मॉडल जो प्रॉम्प्ट उत्पन्न करता है। यह पूरी तस्वीर देखने की अनुमति देता है: पहला, लक्षित मॉडल पर कितने अनुरोध गए, दूसरा, कितने अतिरिक्त संसाधनों की आवश्यकता पड़ी।

ईमानदार तुलना में क्या बदला

लेखकों ने Fair-ASR का उपयोग करके 11 ज्ञात हमलों का पुनर्मूल्यांकन किया और पाया कि आवंटित बजट के आधार पर उनकी रैंकिंग बहुत बदल जाती है। एक हमला जो सौ कॉल पर शक्तिशाली दिखता है, पाँच पर कमजोर हो सकता है, और इसके विपरीत। इसका मतलब है कि प्रभावशीलता के बारे में पुराने निष्कर्ष कम से कम अधूरे थे।

आश्चर्यजनक यह भी था कि सरल तरीके कहीं गायब नहीं हुए। प्रॉम्प्ट में यादृच्छिक गड़बड़ी और मैन्युअल रूप से बनाए गए टेम्पलेट बहुत प्रतिस्पर्धी बने हुए हैं जब लक्षित मॉडल तक पहुँच सीमित होती है। उन्हें बड़े कम्प्यूटेशनल संसाधनों की आवश्यकता नहीं होती और वे लगभग तुरंत काम करते हैं।

लेकिन LLM-नियंत्रित हमले, जहाँ सहायक मॉडल स्वयं बाईपास विकल्प बनाता है, ने खराब प्रदर्शन किया। वे लक्षित मॉडल और अपनी स्वयं की जनरेशन दोनों पर बहुत सारे कॉल खर्च करते हैं। इस प्रकार के परीक्षण किए गए हमलों में से कोई भी दोनों संकेतकों पर तुरंत प्रभावी नहीं निकला। या तो परिणाम बड़े बजट के साथ प्राप्त होता है, या हमला सहायक कॉल में बहुत महंगा होता है।

ReCode: शोध से प्रेरित प्रभावी हमला

वांछित प्रभावशीलता और वास्तविक लागत के बीच यह अंतर शोधकर्ताओं को अपनी स्वयं की पद्धति — ReCode नामक संरचनात्मक हमला बनाने के लिए प्रेरित किया। यह डीसेंसिटाइज़िंग रीराइटिंग का उपयोग करता है: मूल हानिकारक अनुरोध को इस तरह से पुनः तैयार किया जाता है कि वह तटस्थ दिखे और सुरक्षात्मक प्रतिक्रियाएँ न भड़काए। फिर दो सरल और सस्ते प्रिमिटिव का उपयोग किया जाता है, जिन्होंने Fair-ASR पुनर्मूल्यांकन के दौरान खुद को अच्छी तरह साबित किया।

परिणाम प्रभावशाली दिखते हैं। केवल 20 लक्षित कॉल के बजट पर ReCode GPT-5 पर 85% सफलता प्राप्त करता है, और औसतन प्रत्येक अनुरोध पर केवल 7.19 सहायक उपकरण कॉल खर्च होते हैं। तुलना के लिए, कई अन्य हमले ऐसे सीमित बजट पर व्यावहारिक रूप से बेकार हैं। और जो तुलनीय संकेतकों का दावा कर सकते हैं, वे आमतौर पर कई गुना अधिक सहायक संसाधनों की माँग करते हैं।

निष्कर्ष

शोध एक स्पष्ट संकेत देता है: केवल सफल प्रयासों के अनुपात से हमलों का मूल्यांकन करना अब संभव नहीं है। एक समान संदर्भ बिंदु की आवश्यकता है, और लक्षित मॉडल तक पहुँच की संख्या उपलब्ध उपायों में सबसे पारदर्शी और सार्वभौमिक है। Fair-ASR ठीक यही दृष्टिकोण प्रस्तावित करता है, और यह भविष्य की तुलनाओं के लिए मानक बन सकता है।

मॉडल की सुरक्षा करने वालों के लिए, एक महत्वपूर्ण व्यावहारिक निष्कर्ष: हमलावर की भूमिका में कृत्रिम बुद्धिमत्ता वाले जटिल हमलों पर ध्यान केंद्रित न करें। सरल और सस्ते तरीके — यादृच्छिक गड़बड़ी, टेम्पलेट — सीमित संसाधनों पर एक वास्तविक खतरा बने हुए हैं। सबसे पहले सुरक्षा के प्रति उनकी प्रतिरोधक क्षमता की जाँच करना आवश्यक है। जटिल LLM-नियंत्रित हमले शायद प्रयोगशाला रिपोर्टों में प्रभावशाली हों, लेकिन वास्तविक परिस्थितियों में वे बहुत महंगे हैं और उतने खतरनाक नहीं हैं जितने लगते हैं।