बड़े भाषा मॉडल तेजी से वार्तालापकर्ता, सहायक और स्वचालित "निष्पादक" की भूमिका निभा रहे हैं। हम उन्हें जितनी अधिक ज़िम्मेदारी सौंपते हैं, उतना ही महत्वपूर्ण हो जाता है कि पहले से समझा जाए कि मॉडल किस शैली में कार्य करता है: वह कहाँ झुकने की प्रवृत्ति रखता है, कहाँ अपनी बात पर अड़ा रहता है, और कहाँ केवल एक प्रशंसनीय उत्तर दे देता है। व्यवहार में, LLM के "व्यक्तित्व" को अक्सर क्लासिकल मनोवैज्ञानिक प्रश्नावलियों, जैसे Big Five Inventory (BFI), से मापने का प्रयास किया जाता है। लेकिन मानव से तंत्रिका नेटवर्क पर इस पद्धति का स्थानांतरण विफल हो जाता है।
BFI, LLM के मूल्यांकन के लिए उपयुक्त क्यों नहीं है
BFI दृष्टिकोण तार्किक लगता है: मनुष्य में अनुभव के लिए खुलापन, कर्तव्यनिष्ठा, बहिर्मुखता, सहमतता और विक्षिप्तता मापी जाती है — उसी पैमाने पर मॉडल को क्यों नहीं परखा जाए? समस्या यह है कि BFI और इसी तरह की प्रश्नावलियाँ मनुष्यों के लिए बनाई गई हैं और आत्म-रिपोर्ट की क्षमता मानती हैं। तंत्रिका नेटवर्क अपने बारे में उसी तरह चिंतन नहीं करता जैसे मनुष्य करता है: वह प्रशिक्षण डेटा के आधार पर सबसे प्रशंसनीय पाठ चुनता है। इसलिए, परिणाम "यादृच्छिक" विवरणों पर अत्यधिक निर्भर करता है: प्रश्न की शब्दावली, कथनों का क्रम, सिस्टम प्रॉम्प्ट में छोटा सा बदलाव।
इससे पहली सीमा उत्पन्न होती है — कम विश्वसनीयता। एक ही मॉडल को न्यूनतम संपादनों के साथ एक ही परीक्षण से गुज़ारें — और अलग-अलग "व्यक्तित्व" मिल सकते हैं। ऐसा मूल्यांकन इंजीनियरिंग निर्णय लेने के लिए शायद ही उपयोगी है: ऐसी विशेषता पर गंभीरता से भरोसा नहीं किया जा सकता जो कुछ पर्यायवाची शब्दों से बदल जाती है।
दूसरी समस्या गहरी है। BFI की मनोवैज्ञानिक संरचनाएँ मनुष्य का वर्णन करती हैं, न कि किसी संगणकीय प्रणाली का। मॉडल के पास मानवीय अर्थों में कोई व्यक्तित्व नहीं होता, हालाँकि उसके व्यवहार में स्थिर पैटर्न देखे जा सकते हैं। क्लासिकल प्रश्नावली उस चीज़ को दर्ज करने का प्रयास करती है जो मनुष्यों के लिए बनाई गई है, और इसीलिए यह भविष्यवाणी करने में खराब है कि LLM वास्तविक अनुरोध में कैसा व्यवहार करेगा: पूर्वानुमान के लिए ऐसे उपकरण की वैधता सीमित हो जाती है।
CSI: मनुष्यों के लिए नहीं, बल्कि मॉडलों के लिए डिज़ाइन की गई प्रश्नावली
मानवीय प्रश्नावलियों को अनंत रूप से अनुकूलित करने के बजाय, नए कार्य के लेखक उपकरण को शून्य से फिर से बनाने का प्रस्ताव रखते हैं। Core Sentiment Inventory (CSI) को विशेष रूप से LLM के व्यक्तित्व लक्षणों के मूल्यांकन के लिए डिज़ाइन किया गया था। मुख्य विचार — "सहमत / असहमत" जैसे सीधे उत्तरों से दूर जाना है। CSI अप्रत्यक्ष संकेतों से प्रोफ़ाइल का पुनर्निर्माण करता है, यानी वास्तव में इस बात से कि मॉडल दी गई स्थितियों में कैसा व्यवहार चुनता है। ऐसा अप्रत्यक्ष मूल्यांकन मॉडल को "वांछनीय" उत्तर देने के लिए कम उकसाता है और अधिक स्वाभाविक पैटर्न देखने की अनुमति देता है।
यह पद्धति शुरू से ही दो भाषाओं — अंग्रेजी और चीनी — को कवर करती है। यह मौलिक है: भाषाई और सांस्कृतिक संदर्भ मॉडल के व्यवहार को बदल देता है, और द्विभाषी प्रश्नावली इसे ट्रैक करने की अनुमति देती है, न कि एक औसत चित्र पेश करने की। आउटपुट पर CSI केवल कुछ अंक नहीं बनाता, बल्कि मॉडल का एक मनोवैज्ञानिक चित्र बनाता है: यह वर्णन कि कौन से लक्षण और किन परिस्थितियों में अधिक मजबूती से प्रकट होते हैं।
प्रयोगों से क्या पता चला
प्रयोगों में लेखकों ने CSI की तुलना LLM के व्यक्तित्व मूल्यांकन के मौजूदा दृष्टिकोणों से की। उनके आंकड़ों के अनुसार, नई पद्धति एक साथ तीन स्तरों पर काम करती है:
- सूक्ष्मताओं के प्रति संवेदनशीलता। CSI मॉडलों के व्यवहार में सूक्ष्म अंतरों को पकड़ता है, जिसमें भाषाओं और संदर्भों के प्रकारों के बीच अंतर शामिल हैं। प्रोफ़ाइलें व्यवहार को औसत तक चिकना नहीं करतीं, बल्कि महत्वपूर्ण विवरणों को बनाए रखती हैं।
- विश्वसनीयता। CSI के परिणाम मौजूदा उपकरणों की तुलना में काफी अधिक सुसंगत और स्थिर पाए गए। स्थितियों में छोटे बदलाव अंतिम तस्वीर को कम प्रभावित करते हैं।
- पूर्वानुमानक्षमता। CSI के आकलन और मॉडलों के वास्तविक आउटपुट के बीच सहसंबंध 0.85 से अधिक रहा। यह एक मजबूत संबंध है: यदि CSI कहता है कि मॉडल एक निश्चित तरीके से व्यवहार करने की प्रवृत्ति रखता है, तो वास्तविक व्यवहार उच्च संभावना के साथ पूर्वानुमान से मेल खाता है।
गुणों का ऐसा समूह दुर्लभ है: कुछ पद्धतियाँ व्यवहार को अच्छी तरह से अलग करती हैं, लेकिन अस्थिर होती हैं; अन्य स्थिर होती हैं, लेकिन मॉडल के वास्तविक कार्यों के बारे में कम बताती हैं। CSI दोनों गुणों को संयोजित करने का प्रयास करता है।
व्यवहार में इसकी आवश्यकता क्यों है
LLM की स्थिर व्यक्तित्व प्रोफ़ाइल केवल शोध के विषय के रूप में उपयोगी नहीं है। यह गुणवत्ता नियंत्रण का एक उपकरण है: पहले से यह निर्धारित किया जा सकता है कि सहायक से किस प्रकार की संचार शैली चाहिए, और यह सुनिश्चित किया जा सकता है कि कार्य की शब्दावली बदलने पर मॉडल "टूट" न जाए। CSI व्यवहारिक विशेषताओं के आधार पर मॉडलों की आपस में तुलना करने की भी अनुमति देता है, न कि केवल ज्ञान बेंचमार्क के आधार पर।
अंत में, "व्यक्तित्व" के मूल्यांकन के लिए ऐसा ढाँचा जिम्मेदार AI विकास के लिए महत्वपूर्ण है। हम जितना अधिक सटीक रूप से समझते हैं कि मॉडल में कौन से व्यवहारिक पैटर्न स्थापित हैं, उतनी ही जल्दी हम अवांछनीय प्रवृत्तियों को नोटिस कर सकते हैं — इससे पहले कि वे वास्तविक उत्पाद में प्रकट हों। लेखकों ने पद्धति का कोड सार्वजनिक किया है, इसलिए परिणामों को पुन: प्रस्तुत किया जा सकता है और अपने स्वयं के मॉडलों पर जाँचा जा सकता है।
