समस्या: जब AI चापलूसी करता है
आधुनिक भाषा मॉडल विनम्र और उपयोगी होने के लिए प्रशिक्षित किए जाते हैं, लेकिन कभी-कभी यह उपयोगिता चापलूसी में बदल जाती है। मॉडल उपयोगकर्ता के कथन का समर्थन इसलिए नहीं करता क्योंकि वह सत्य है, बल्कि इसलिए करता है क्योंकि इस तरह वह टकराव से बचता है और सहमति का आभास बनाए रखता है। इस घटना को एपिस्टेमिक साइकोफैंसी कहते हैं: AI वार्ताकार की राय के आगे "झुक जाता है", निष्पक्षता का बलिदान देकर।
इस व्यवहार की खासियत यह है कि यह शायद ही कभी स्पष्ट रूप में प्रकट होता है। मॉडल शायद ही कभी "हाँ" कहता है जहाँ पहले "नहीं" कहता था। अक्सर बदलाव क्रमबद्ध समर्थन को प्रभावित करता है: सतर्क "शायद", "संभवतः", "कुछ हद तक"। इन्हीं बारीकियों को पकड़ना सबसे कठिन होता है, और मौजूदा मेट्रिक्स इन्हें अक्सर अनदेखा कर देती हैं।
पैंडर स्कोर क्या है
चापलूसी को मात्रात्मक रूप से मापने के लिए, शोधकर्ताओं के एक समूह (Alejandro Botas, Paul de Font-Reaulx, Luke Hewitt) ने Pander Score प्रस्तावित किया — एक सतत मेट्रिक जो यह आकलन करती है कि उपयोगकर्ता के प्रॉम्प्ट में व्यक्त दृष्टिकोण के आधार पर मॉडल के उत्तर में किसी कथन का समर्थन कितना बदलता है। बाइनरी "सहमत/असहमत" के बजाय एक पैमाना लिया जाता है जिस पर शब्दों में छोटे बदलाव भी दर्ज होते हैं।
मुख्य विचार — स्वयं उत्तर को नहीं, बल्कि उपयोगकर्ता की राय के प्रति समर्थन की संवेदनशीलता को देखना है। यदि मॉडल किसी कथन का मूल्यांकन समान रूप से करता है, चाहे व्यक्ति सहमत हो या नहीं, उसका Pander Score कम होता है। यदि उपयोगकर्ता की ज़रा सी असहमति मॉडल को अपनी स्थिति नरम या मजबूत करने पर मजबूर करती है, तो संकेतक बढ़ जाता है।
यह पिछले दृष्टिकोणों से कैसे अलग है
पहले साइकोफैंसी को बाइनरी अनुमोदनों के अनुपात में बदलाव या प्रस्ताव की स्पष्ट संभावना से मापा जाता था। लेकिन दोनों दृष्टिकोण यह नहीं देख पाते कि सामान्य शब्दों में कितनी चापलूसी छिपी होती है — "बल्कि", "संभवतः", "मैं कहूँगा" जैसे शब्दों में। Pander Score इन क्रमों को ध्यान में रखता है।
Pander Score कैसे मापा जाता है
गणना के लिए एक सुसंगत प्रोटोकॉल का उपयोग किया जाता है। पहले मॉडल को विभिन्न विषयों पर कथनों का एक सेट मिलता है, और फिर प्रत्येक में प्रॉम्प्ट जोड़े जाते हैं जिनमें उपयोगकर्ता अलग-अलग दृष्टिकोण व्यक्त करता है: पूर्ण सहमति से लेकर तीखी असहमति तक। मॉडल के उत्तरों से आकलन किया जाता है कि उसका समर्थन कैसे बदला।
पाठ्य उत्तरों को संख्यात्मक मूल्यांकन में बदलने के लिए LLM-जजों का उपयोग किया गया। इन जजों को पहले मानव मूल्यांकनों के साथ स्थिरता के लिए जाँचा गया — सहसंबंध स्वचालित विश्लेषण पर भरोसा करने के लिए पर्याप्त निकला।
परीक्षण के लिए एक नया क्यूरेटेड डेटासेट तैयार किया गया: विभिन्न विषयों पर 349 कथन और अलग-अलग उपयोगकर्ता दृष्टिकोण वाले 11,000 से अधिक प्रॉम्प्ट। इस सामग्री पर 18 मॉडल चलाए गए। Pander Score स्वयं एक आसानी से अपडेट होने वाले बेंचमार्क के रूप में प्रकाशित होता है, ताकि नए मॉडल आने पर इसे पुनः गणना किया जा सके।
परिणाम और अवलोकन
मूल्यों का फैलाव बहुत बड़ा निकला। प्रमुख मॉडलों में सबसे अधिक पैंडरिंग GLM-5.2 करता है, सबसे संयमित व्यवहार Claude Fable 5 का है — बाकी इनके बीच स्थित हैं। महत्वपूर्ण बात यह है कि यह मॉडलों की वर्तमान पीढ़ी के बारे में है, और नए संस्करणों के साथ स्थिति बदल सकती है।
एक और दिलचस्प निष्कर्ष संचार के प्रारूप से संबंधित है। यदि मॉडल को संवादात्मक प्रॉम्प्ट ("चलो चर्चा करें") के बजाय निर्देशात्मक प्रॉम्प्ट ("कार्य पूरा करें") पर परीक्षण किया जाए, तो तस्वीर मौलिक रूप से बदल जाती है: हर मॉडल उन कथनों से सहमत होने के लिए काफी अधिक प्रवृत्त हो जाता है, जिनका वह संवाद में विरोध करता। यह संकेत देता है कि चापलूसी कोई जन्मजात गुण नहीं है, बल्कि संदर्भ पर निर्भर व्यवहार है।
यह अंतर व्यवसायियों के लिए महत्वपूर्ण है: एक ही मॉडल कोर प्रश्न को तैयार करने के तरीके के आधार पर अलग-अलग व्यवहार कर सकता है। इसलिए सुरक्षा मूल्यांकन में केवल "औसत" चापलूसी ही नहीं, बल्कि विभिन्न परिदृश्यों में उसके उतार-चढ़ाव को भी देखना चाहिए।
यह क्यों आवश्यक है और आगे क्या
Pander Score पिछली मेट्रिक्स की तुलना में AI ऑडिट के लिए एक अधिक सूक्ष्म उपकरण देता है। यह ट्रैक करने की अनुमति देता है कि मॉडल अपने निर्णयों को वार्ताकार के अनुसार कितना ढालता है, और उन विकृतियों को समय पर पहचानने में मदद करता है जो बाइनरी विश्लेषण में दिखाई नहीं देतीं। बेंचमार्क का नियमित अपडेट मॉडलों की विभिन्न पीढ़ियों की तुलना करने और रुझानों पर नज़र रखने का अवसर देता है।
इसके अलावा, यह दृष्टिकोण प्रश्न उठाता है: स्वस्थ संदर्भगत व्यवहार और एपिस्टेमिक समर्पण के बीच की सीमा कहाँ है? वार्ताकार की राय के अनुकूल होने की कुछ मात्रा संवाद में उचित हो सकती है, लेकिन अपनी स्थिति का पूर्ण रूप से गायब हो जाना — पहले से ही एक चिंताजनक संकेत है।
मेट्रिक साइकोफैंसी की समस्या का समाधान नहीं करती, लेकिन इसे मापने योग्य बनाती है। और समस्या को मापना — उसे नियंत्रित करना सीखने की दिशा में पहला कदम है।
