ग्राफवेक: कैसे LLM एजेंटों की मेमोरी समुदायों को विरोधी गुटों में बांटने में मदद करती है

29 अगस्त 202610 बार देखा गया

नई शोध-आक्रमण AI एजेंटों की मेमोरी को छिपे चैनल के रूप में उपयोग करती है: तटस्थ सार्वजनिक चर्चा एजेंटों को पहले से डाले गए तर्कों को दोहराने के लिए मजबूर करती है, जिससे समूह ध्रुवीकरण तेजी से बढ़ता है। लेखकों ने दिखाया कि यह दृष्टिकोण प्रॉम्प्ट हैकिंग या इको-चैंबर बनाए बिना काम करता है।

ग्राफवेक: कैसे LLM एजेंटों की मेमोरी समुदायों को विरोधी गुटों में बांटने में मदद करती है

आधुनिक भाषा मॉडल तेजी से अलग-अलग एप्लिकेशन के रूप में नहीं, बल्कि स्वायत्त एजेंट के रूप में कार्य कर रहे हैं, जो एक-दूसरे से संवाद करने, चर्चा करने और सामूहिक निर्णयों को प्रभावित करने में सक्षम हैं। ऐसे एजेंट समुदाय दुर्भावनापूर्ण अभिनेताओं के लिए एक आकर्षक लक्ष्य बन गए हैं: उनमें नियंत्रित तत्वों को शामिल करना ही काफी है ताकि समग्र गतिशीलता बदल जाए। मौजूदा हमले के तरीके — जैसे प्रॉम्प्ट में हेरफेर या पृथक इको-चैंबर बनाना — के लिए काफी जटिल बुनियादी ढांचे की आवश्यकता होती है और अक्सर वास्तविक परिस्थितियों में काम नहीं करते। लेकिन हालिया शोध से पता चलता है कि एक और अधिक कपटी रास्ता है: एजेंटों की खुद की मेमोरी को ध्रुवीकरणकारी विचारों के प्रसार के लिए एक छिपे चैनल के रूप में उपयोग करना।

मेमोरी एक हमले का चैनल

सिंघुआ विश्वविद्यालय के शोधकर्ताओं (हाओरान बू, झेचेन चेन, लितियान झांग, शी झांग) ने एक नया खतरा प्रस्तावित किया है, जिसे «मेमोरी-मध्यस्थ ध्रुवीकरण कैस्केड» (Memory-Mediated Polarization Cascade) नाम दिया गया है। इसका सार यह है कि पहले लक्षित एजेंटों के एक छोटे समूह की मेमोरी में उन तर्कों को चुपचाप डाला जाता है जो उनकी पहले से मौजूद स्थिति का समर्थन करते हैं, और फिर तब तक इंतजार किया जाता है जब तक कि सामान्य चर्चा उन्हें उन तर्कों को याद करने और सार्वजनिक रूप से व्यक्त करने के लिए मजबूर न कर दे। यहां मेमोरी एक स्थायी भंडार की भूमिका निभाती है: जानकारी को समय बीतने के बाद भी निकाला जा सकता है। सार्वजनिक चर्चा, इसके विपरीत, एक संवाहक के रूप में कार्य करती है जो एक बार बोले गए विचारों को समुदाय में आगे फैला देती है। यह दृष्टिकोण समुदाय को समग्र रूप से लक्षित करता है, क्योंकि कार्य एक एजेंट को बदलना नहीं है, बल्कि समूहों के बीच टकराव भड़काना है। इस कार्य के ढांचे में GraphWake नामक एक हमला बनाया गया था, जो इस सिद्धांत का उपयोग करता है।

कैस्केड के तीन चरण

GraphWake हमला तीन स्पष्ट रूप से परिभाषित चरणों में विकसित होता है। उनमें से प्रत्येक एक आवश्यक कड़ी है ताकि ध्रुवीकरण की श्रृंखला एकल एजेंट से पूरे समुदाय के पैमाने तक पहुंच सके।

चरण 1. एक्सपोज़र और धारण

हमलावर लक्षित एजेंटों का एक छोटा समूह चुनता है और उन्हें ऐसे तर्क दिखाता है जो उनकी वर्तमान स्थिति के विपरीत नहीं हैं, बल्कि इसके विपरीत, उसे मजबूत और सुदृढ़ करते हैं। एजेंट मेमोरी इन तर्कों को संसाधित करती है और उन्हें अपने इतिहास के हिस्से के रूप में संग्रहीत करती है। बाहरी रूप से कुछ नहीं होता: एजेंट सामान्य बातचीत जारी रखते हैं, लेकिन उनकी दीर्घकालिक मेमोरी में पहले से ही «खदानें» बिछी होती हैं — ऐसे तर्क जो बाद में सक्रिय होंगे।

चरण 2. निष्कर्षण और पुनरुत्पादन

जब समुदाय में किसी ऐसे विषय पर सामान्य चर्चा शुरू होती है जो स्थितियों के दृष्टिकोण से तटस्थ है, तो यह एक ट्रिगर बन जाता है। लक्षित एजेंट पहले से धारण किए गए तर्कों को मेमोरी से निकालते हैं और उन्हें अपने स्वयं के तर्कों के रूप में पुन: प्रस्तुत करना शुरू करते हैं। महत्वपूर्ण बात यह है कि चर्चा स्वयं कुछ भी थोपती नहीं है — यह केवल संग्रहीत जानकारी को सक्रिय करने के लिए एक ट्रिगर के रूप में कार्य करती है।

चरण 3. पुनरावृत्तीय प्रसार

अन्य एजेंट, जो हमले के लक्ष्य नहीं थे, इन पुन: प्रस्तुत तर्कों को सुनते हैं और, चूंकि वे ठोस लगते हैं, उन्हें आगे दोहराना शुरू कर देते हैं। इस प्रकार एक कैस्केड बनता है: शुरू में «वाहकों» का एक छोटा समूह पूरे समुदाय को संक्रमित कर देता है, और ध्रुवीकरण हर पुनरुत्पादन चक्र के साथ बढ़ता है। परिणामस्वरूप, समुदाय शत्रुतापूर्ण गुटों में विभाजित हो जाता है, जिनमें से प्रत्येक अपनी सहीता में और मजबूत होता जाता है।

GraphWake के घटक

वर्णित कैस्केड को लागू करने के लिए, लेखकों ने उपकरणों का एक सेट विकसित किया, जिसे GraphWake नाम दिया गया। इसके आधार पर तीन प्रमुख घटक हैं, जो हमले के विभिन्न पहलुओं के लिए जिम्मेदार हैं।

तर्क ज्ञान ग्राफ

पहला घटक विशेष ज्ञान ग्राफ है, जो तर्कों और उनके द्वारा समर्थित स्थितियों के बीच संबंध को दर्शाता है। वे हमले के तंत्र को एजेंट की पहले से मौजूद मान्यताओं के आधार पर विश्वसनीय कथन बनाने की अनुमति देते हैं। इसके लिए धन्यवाद, तर्क स्वाभाविक दिखते हैं और संदेह पैदा नहीं करते।

एक्सिओम-उन्मुख ट्रिपल चयन

दूसरा घटक तर्कों के चयन और «आसवन» के लिए जिम्मेदार है। कई संभावित थीसिस में से केवल उन्हीं का चयन किया जाता है जो एजेंट की मेमोरी में बने रहने की गारंटी देते हैं और फिर सटीक रूप से पुन: प्रस्तुत किए जाएंगे। यह एक प्रकार का फिल्टर है जो केवल सबसे प्रभावी कथनों को याद रखने और बाद में निकालने के दृष्टिकोण से छोड़ता है।

मेमोरी से तटस्थ संकेत

तीसरा घटक एक तंत्र है जो सही समय पर संग्रहीत तर्कों के निष्कर्षण को ट्रिगर करता है। यह सामान्य चर्चा से स्थिति-तटस्थ संकेतों का उपयोग करता है ताकि लक्षित एजेंटों की मेमोरी को «जागृत» किया जा सके और उन्हें सार्वजनिक पुनरुत्पादन के लिए प्रेरित किया जा सके। महत्वपूर्ण बात यह है कि इन संकेतों में स्वयं विवादास्पद थीसिस शामिल नहीं होती हैं, इसलिए हमला छिपा रहता है।

प्रयोग और निष्कर्ष

लेखकों ने GraphWake को कई चर्चा परिदृश्यों और मेमोरी सिस्टम के विभिन्न कार्यान्वयनों पर परीक्षण किया। परिणाम स्पष्ट हैं: प्रस्तावित विधि समुदाय की प्रारंभिक स्थिति की तुलना में समूह ध्रुवीकरण को काफी बढ़ा देती है। लक्षित एजेंटों की छोटी संख्या के बावजूद, प्रभाव पूरे समूह में फैल जाता है, जो हमले की कैस्केड प्रकृति की पुष्टि करता है।

कार्य का मुख्य निष्कर्ष — भेद्यता का प्रदर्शन इतना नहीं है, बल्कि एक चेतावनी है: ध्रुवीकरण सामग्री के स्पष्ट हेरफेर के कारण नहीं, बल्कि एजेंटों की मेमोरी पर अदृश्य प्रभाव के माध्यम से उत्पन्न हो सकता है। इसका मतलब है कि एजेंट समुदायों की सुरक्षा के लिए न केवल इस बात पर ध्यान देना आवश्यक है कि कौन से प्रॉम्प्ट दिए जाते हैं, बल्कि यह भी कि दीर्घकालिक मेमोरी कैसे व्यवस्थित है और इसमें कौन से छिपे विश्वास जमा होते हैं। प्लेटफ़ॉर्म डेवलपर्स को एजेंटों द्वारा «याद रखी» जाने वाली चीज़ों पर नियंत्रण के तंत्र और कृत्रिम रूप से डाले गए तर्कों का पता लगाने के तरीकों के बारे में सोचना चाहिए।

अक्सर पूछे जाने वाले प्रश्न

समान सामग्री

सभी सामग्री
ग्राफवेक: कैसे LLM एजेंटों की मेमोरी समुदायों को विरोधी गुटों में बांटने में मदद करती है