लोग समझ में आते हैं, LLM — नहीं: विशेषज्ञ मॉडलों के तर्क को समझा नहीं पाए
जब हम परीक्षणों के परिणामों को देखते हैं, तो यह मान लेना स्वाभाविक लगता है कि कृत्रिम बुद्धिमत्ता कार्यों को «मनुष्यों की तरह» हल करती है: वही अवधारणाओं, नियमों और तर्कों का उपयोग करती है। हालाँकि, एक नया शोध इस धारणा पर प्रश्नचिह्न लगाता है। वैज्ञानिकों ने पाया कि छिपी हुई संरचनाएँ जो LLM के उत्तरों को निर्धारित करती हैं, अधिकांश मामलों में मानवीय व्याख्या के योग्य नहीं होतीं — यहाँ तक कि क्षेत्र के विशेषज्ञों के लिए भी नहीं।
वास्तव में क्या जाँचा गया
कार्य के लेखकों (arXiv:2608.17810) — अलोना स्ट्रुगात्स्की, लिकोल ज़ेइनफेल्ड, जेसन कूपर और उनके सहयोगियों — ने मात्रात्मक तर्क और रसायन विज्ञान के कार्यों पर मनुष्यों और छह अलग-अलग LLM के उत्तर लिए। खोजपूर्ण कारक विश्लेषण की मदद से, उन्होंने प्रत्येक समूह के लिए छिपे हुए अव्यक्त कारकों की पहचान की, जो संभवतः इन कार्यों की सफलता के पीछे हैं।
फिर विषय विशेषज्ञों ने आँख मूँदकर प्राप्त संरचनाओं का अध्ययन किया और कारकों को शैक्षणिक अर्थ देने का प्रयास किया: उदाहरण के लिए, «सूत्रों के साथ काम करने की क्षमता» या «स्टोइकियोमेट्री की समझ»। अंधा प्रारूप किसी भी संकेत को समाप्त कर देता था — विशेषज्ञों को नहीं पता था कि ग्राफ़ मनुष्यों से संबंधित हैं या मॉडलों से।
परिणाम: व्याख्यात्मकता में अंतर
विशेषज्ञों ने मानवीय उत्तरों के आधार पर प्राप्त कारकों को लगभग बिना किसी समस्या के समझ लिया। अधिकांश निर्माणों को सार्थक स्पष्टीकरण मिला, जिसे आसानी से सीखने या निदान के लिए सिफारिशों में बदला जा सकता था।
LLM के साथ तस्वीर अलग थी:
- मात्रात्मक तर्क में, विशेषज्ञ मॉडलों के लिए पहचाने गए कारकों में से किसी एक की भी सार्थक व्याख्या नहीं कर सके।
- रसायन विज्ञान में स्थिति थोड़ी बेहतर थी, लेकिन फिर भी आदर्श से दूर: केवल लगभग आधी संरचनाओं को ही समझाया जा सका।
इसका क्या मतलब है
लेखक एक महत्वपूर्ण निष्कर्ष निकालते हैं: जब LLM परीक्षणों में उच्च परिणाम दिखाते हैं, तो इसका मतलब यह नहीं है कि वे हमारे परिचित तरीके से तर्क करते हैं। मॉडल सांख्यिकीय रूप से प्रभावी, लेकिन मनुष्यों के लिए पूरी तरह से «अलग» समाधान खोज सकते हैं। उनके आंतरिक तंत्र पैटर्न के स्तर पर काम करते हैं, जो समझने योग्य शैक्षणिक या संज्ञानात्मक अर्थ नहीं रखते।
यह अवलोकन आम प्रथा को चुनौती देता है, जब AI के परिणामों से ज्ञान या दक्षताओं के स्तर के बारे में निष्कर्ष निकालने की कोशिश की जाती है। यदि हम यह नहीं समझा सकते कि उत्तरों के पीछे वास्तव में कौन सी संरचनाएँ हैं, तो हम मॉडलों को अस्तित्वहीन क्षमताओं का श्रेय देने का जोखिम उठाते हैं — या इसके विपरीत, वास्तविक सीमाओं को अनदेखा कर देते हैं।
आगे कहाँ जाना है
शोध यह दावा नहीं करता कि LLM की व्याख्या करना सैद्धांतिक रूप से असंभव है। यह केवल दिखाता है कि मानवीय अनुभूति के अध्ययन के लिए बनाया गया शास्त्रीय दृष्टिकोण सीधे मॉडलों पर लागू नहीं होता। संभवतः, मौलिक रूप से नए विश्लेषण तरीकों को विकसित करने की आवश्यकता होगी — ऐसे तरीके जो अव्यक्त संरचनाओं की «गैर-मानवीय» प्रकृति को ध्यान में रखते हैं।
फिलहाल, प्रश्न खुला रहता है: यदि विशेषज्ञ मॉडलों के तर्क को नहीं समझा सकते, तो क्या हम शिक्षा और ज्ञान मूल्यांकन में उनके उपयोग पर भरोसा कर सकते हैं? उत्तर, संभवतः, AI की जाँच के दृष्टिकोणों और मशीनों की «बुद्धिमत्ता» से हमारी अपेक्षाओं दोनों के पुनर्विचार की माँग करेगा।
