आधुनिक बड़े भाषा मॉडल उन कार्यों में उत्कृष्ट प्रदर्शन करते हैं जहाँ मौजूदा मानव ज्ञान को याद करके लागू करने की आवश्यकता होती है। लेकिन एक वास्तविक बौद्धिक प्रणाली को सीखी गई सीमाओं से आगे जाने में सक्षम होना चाहिए: ऐसे प्रश्न उठाना जो अभी तक किसी ने नहीं पूछे हैं, और अनुमानों को सत्यापन योग्य वैज्ञानिक परिणामों में बदलना। इसी क्षमता को — या अधिक सटीक रूप से, वर्तमान AI में इसकी अनुपस्थिति को — मापने के लिए ASI-Bench नामक एक नया बेंचमार्क तैयार किया गया है।
ज्ञान के पुनरुत्पादन से नए ज्ञान के निर्माण तक
शोधकर्ताओं ने लंबे समय से देखा है कि आधुनिक मॉडल मनुष्यों द्वारा बनाए गए विशाल डेटा सेट से जानकारी को संपीड़ित और संयोजित करने के लिए प्रशिक्षित हैं। हालाँकि, लेखकों की समझ में सुपरइंटेलिजेंस केवल एक अधिक शक्तिशाली "पुनर्कथनकर्ता" नहीं है, बल्कि एक ऐसी प्रणाली है जो स्वतंत्र रूप से अज्ञात का अन्वेषण कर सकती है और नया ज्ञान उत्पन्न कर सकती है। पारंपरिक परीक्षण लगभग हमेशा यह जाँचने तक सीमित रहते हैं कि मॉडल सीखी गई जानकारी को कितनी सटीकता से पुन: प्रस्तुत करता है और क्या वह मनुष्यों के विस्तृत निर्देशों का पालन कर सकता है। वे मुख्य प्रश्न का उत्तर नहीं देते: क्या AI एक स्वतंत्र वैज्ञानिक की तरह कार्य कर सकता है?
इस स्थिति में एक मौलिक रूप से भिन्न उपकरण की आवश्यकता थी जो वैज्ञानिक रचनात्मकता और स्वायत्तता की जाँच करे — और इस दिशा में पहला कदम ASI-Bench ने उठाया है।
बेंचमार्क कैसे काम करता है
नए परीक्षण के विकास में 40 से अधिक विशेषज्ञों के सहयोग से 31,000 से अधिक मानव-घंटे लगे। अंततः बेंचमार्क में 11 वैज्ञानिक क्षेत्रों से 60 परियोजना-आधारित शोध कार्य शामिल किए गए — प्राकृतिक विज्ञान से लेकर इंजीनियरिंग विषयों तक। प्रत्येक कार्य एक छोटी शोध परियोजना की तरह संरचित है, जिसमें प्रारंभिक परिकल्पना से लेकर सत्यापन योग्य परिणाम तक का कार्य करना होता है।
ASI-Bench की मूलभूत विशेषता — पद्धतिगत समर्थन का क्रमिक हटना है। प्रत्येक कार्य के लिए लेखकों ने मार्गदर्शन के कई स्तर तैयार किए हैं: अत्यंत विस्तृत निर्देशों से, जहाँ हर कदम वर्णित है, से लेकर ऐसी सेटिंग तक, जहाँ एजेंट को स्वयं विधि चुननी होती है और यहाँ तक कि शोध की दिशा भी निर्धारित करनी होती है। इस प्रकार, परीक्षण यह देखने की अनुमति देता है कि AI मानव संकेतों के बिना कितनी दूर जाने को तैयार है।
त्रुटियों और उत्तरों के "रटने" को खत्म करने के लिए, सभी कार्य बहु-स्तरीय जाँच से गुजरते हैं: विशेषज्ञ समीक्षा, किसी अन्य AI प्रणाली के माध्यम से ऑडिट, एक पृथक सैंडबॉक्स में निष्पादन, और स्कोरिंग परिणामों का अलग सत्यापन। यह परिणामों को सामान्य परीक्षणों की तुलना में अधिक विश्वसनीय बनाता है।
पहले परिणाम: मनुष्य पर निर्भरता
लेखकों ने सभी कार्य स्तरों पर 18 "एजेंट-मॉडल" कॉन्फ़िगरेशन चलाए जो state-of-the-art स्तर के हैं। परिणाम संकेतक थे। जब पूर्ण पद्धतिगत मार्गदर्शन दिया गया, तो औसत स्कोर 50.91 था, लेकिन जब एजेंट को केवल विधि दी गई, तो यह 29.10 हो गया। जब मॉडल को स्वयं विधि निर्धारित करनी पड़ी, तो स्कोर 26.62 तक गिर गया।
यह तीव्र गिरावट बताती है कि सबसे आधुनिक प्रणालियाँ भी अभी विस्तृत मानव संकेतों के बिना संपूर्ण वैज्ञानिक शोध करने के लिए तैयार नहीं हैं। वे स्पष्ट रूप से निर्धारित चरणों को निष्पादित करने में मजबूत हैं, लेकिन जैसे ही उन्हें पहल करनी होती है, वे काफी हद तक भटक जाती हैं। यह उन सभी के लिए एक महत्वपूर्ण संकेत है जो सुपरइंटेलिजेंस के शीघ्र आगमन की उम्मीद करते हैं: ज्ञान पुनरुत्पादन के क्षेत्र में प्रगति स्वायत्त वैज्ञानिक खोज में प्रगति के बराबर नहीं है।
खुला मंच और अगले कदम
डेवलपर्स ने ASI-Bench को वैज्ञानिक समुदाय के लिए खुला कर दिया है और दुनिया भर के शोधकर्ताओं को नए कार्य जोड़ने के लिए आमंत्रित करते हैं। यह क्षेत्रों और परिदृश्यों के सेट का विस्तार करने की अनुमति देगा, जिससे बेंचमार्क अधिक व्यापक हो जाएगा। इसके अलावा, परीक्षण की खुलापन AI प्रणालियों की प्रगति को गतिशील रूप से ट्रैक करने का अवसर देता है: आज के परिणाम संभवतः भविष्य के मॉडलों के साथ तुलना के लिए प्रारंभिक बिंदु बन जाएंगे।
अभी कम स्कोर के बावजूद, इस शोध का मुख्य निष्कर्ष निराशा नहीं है, बल्कि एक ऐसे उपकरण का उद्भव है जो पहली बार AI के उस "अनुसंधानात्मक" गुण को मापने की अनुमति देता है। आगे का काम यह देखना है कि क्या नए मॉडल और एजेंट आर्किटेक्चर मार्गदर्शन के तहत निष्पादन और स्वतंत्र वैज्ञानिक कार्य के बीच की खाई को कम कर सकते हैं।
