LLM बेंचमार्क किस ओर बढ़ रहे हैं
आधुनिक बड़े भाषा मॉडलों के परीक्षण धीरे-धीरे अपना अर्थ खोते जा रहे हैं: मॉडल उच्च अंक प्राप्त कर रहे हैं, और उनके बीच का अंतर कम संकेतक होता जा रहा है। नए शोध के लेखक इसका कारण बेंचमार्क की जटिलता बढ़ाने के तरीके में देखते हैं। वर्तमान में दो रणनीतियाँ लोकप्रिय हैं: या तो GPQA या HLE जैसे अत्यधिक विशिष्ट ज्ञान की मात्रा बढ़ाना, या फिर ARC-AGI की तर्ज पर अमूर्त तर्क की ओर जाना। पहले दृष्टिकोण में एक समस्या है: उच्च परिणाम तथ्यों को याद रखने का परिणाम हो सकता है, न कि वास्तविक समझ का। दूसरा दृष्टिकोण, इसके विपरीत, तर्क को व्यावहारिक संदर्भ से अलग कर देता है — ऐसे कार्य उन चीज़ों से बहुत कम मिलते-जुलते हैं जिनका सामना मॉडल को वास्तविक जीवन में करना होगा।
नया बेंचमार्क GIM (Grounded Integration Measure) तीसरा रास्ता सुझाता है। इसके लेखकों का मानना है कि जटिलता विद्वता या पहेलियों से नहीं, बल्कि सार्वजनिक रूप से उपलब्ध ज्ञान के आधार पर कई अलग-अलग संज्ञानात्मक कौशलों को एक साथ उपयोग करने की आवश्यकता से उत्पन्न होनी चाहिए।
GIM कैसे काम करता है
सेट में 820 मौलिक कार्य शामिल हैं: 615 सभी के लिए खुले हैं और 205 निजी हैं, जो ट्यूनिंग को रोकने के लिए छिपे रहते हैं। महत्वपूर्ण बात यह है कि प्रत्येक कार्य एक मौलिक रचना है, न कि मौजूदा प्रश्नों का पुनर्कार्य।
जटिलता दुर्लभ तथ्यों के कारण नहीं, बल्कि संचालन के समन्वय के कारण प्राप्त होती है। उदाहरण के लिए, एक कार्य में मॉडल को एक साथ निम्न की आवश्यकता हो सकती है:
- कई बाधाओं को संतुष्ट करना;
- प्रक्रिया की बदलती स्थिति पर नज़र रखना;
- ज्ञानमीमांसीय सतर्कता दिखाना, यानी यह समझना कि किन स्रोतों और दावों पर भरोसा किया जा सकता है;
- उत्तर को विशिष्ट दर्शकों के अनुसार ढालना।
साथ ही, सभी कार्य सार्वजनिक रूप से उपलब्ध ज्ञान पर आधारित हैं — मॉडल से किसी संकीर्ण क्षेत्र में विशेषज्ञ होने की अपेक्षा नहीं की जाती। यह स्मृति की नहीं, बल्कि विभिन्न कौशलों को एक साथ जोड़ने और उन्हें यथार्थवादी स्थिति में लागू करने की क्षमता की परीक्षा है।
उत्तरों का मूल्यांकन मुख्य रूप से रूब्रिक के माध्यम से किया जाता है: परिणाम को अलग-अलग घटकों में विभाजित किया जाता है, और प्रत्येक घटक की स्वतंत्र रूप से जाँच की जाती है। यह संभावना कम करता है कि मॉडल को आंशिक रूप से सही उत्तर के लिए पूर्ण अंक मिलें।
मॉडलों का मूल्यांकन कैसे किया गया
लेखकों ने केवल सही उत्तरों के अनुपात पर भरोसा नहीं किया। इसके बजाय, उन्होंने एक सतत दो-पैरामीटर IRT मॉडल का उपयोग किया — साइकोमेट्रिक्स की एक विधि जो मॉडल की क्षमता और कार्यों की कठिनाई दोनों को ध्यान में रखती है। मॉडल को 53 परीक्षण-विन्यासों पर कैलिब्रेट किया गया था — अद्वितीय "मॉडल × सोच स्तर" जोड़े। इसके लिए पाँच विशेष रूप से कैलिब्रेटेड न्यायाधीशों को शामिल किया गया।
कुल मिलाकर दस लाख से अधिक कच्चे न्यायाधीश अवलोकन प्राप्त हुए, जिन्हें बाद में 203,800 कोशिकाओं में औसत किया गया। यह प्रक्रिया क्षमताओं का स्थिर अनुमान देती है जो कच्ची सटीकता के विशिष्ट विकृतियों — न्यायाधीशों की कठोरता या उदारता, खोया डेटा, विभिन्न मॉडलों की असमान त्रुटियों — के कारण विफल नहीं होती। अंतिम अनुमान ऐसे शोर की स्थितियों में भी परीक्षण-विन्यासों को सही ढंग से क्रमबद्ध करते हैं।
इन गणनाओं के आधार पर, लेखकों ने एक लीडरबोर्ड तैयार किया जिसमें 22 मॉडल और 47 आधिकारिक रिपोर्टिंग-विन्यास शामिल हैं।
सोचने के समय की भूमिका
शोधकर्ताओं ने अलग से अध्ययन किया कि इन्फ्रेंस के दौरान कम्प्यूटेशनल बजट — टेस्ट-टाइम कंप्यूट — कैसे प्रभावित करता है। यह एक निश्चित बेंचमार्क पर इस तरह का सबसे व्यापक प्रकाशित शोध है: इसमें 11 मॉडल और 35 परीक्षण-विन्यास शामिल थे।
निष्कर्ष काफी हद तक प्रयोग के डिज़ाइन के कारण अप्रत्याशित थे। इंट्रा-फैमिली सेटिंग्स — उदाहरण के लिए, थिंकिंग-टोकन बजट या क्वांटाइज़ेशन — परिणाम को मॉडल की पसंद से कम प्रभावित नहीं करती हैं। यानी, आप एक ही मॉडल ले सकते हैं, सोच के मापदंडों को बदल सकते हैं — और एक अंतर प्राप्त कर सकते हैं जो दूसरे, अधिक शक्तिशाली मॉडल पर स्विच करने के बराबर है।
हालाँकि, एक महत्वपूर्ण सीमा भी है: रीज़निंग-टोकन की संख्या बढ़ाने से घटती सीमांत उपज मिलती है। एक निश्चित सीमा के बाद, आगे की गणना उत्तर में लगभग सुधार नहीं करती है। इसका मतलब है कि "सोचने का समय" अनिश्चित काल तक बढ़ाना अप्रभावी है — बजट और गुणवत्ता के बीच संतुलन खोजना आवश्यक है।
निष्कर्ष
GIM का वर्णन करने वाला पेपर 2026 में arXiv पर प्रकाशित हुआ और समुदाय के लिए एक महत्वपूर्ण घटना बन गया: 61 पृष्ठ, 27 आंकड़े, 4 तालिकाएँ। बेंचमार्क का कोड और डेटा खुले हैं, इसलिए कोई भी शोधकर्ता अपने स्वयं के मॉडल चला सकता है और उनकी तुलना प्रकाशित परिणामों से कर सकता है।
GIM का मुख्य विचार — तथ्यों या अमूर्तताओं के माध्यम से परीक्षण को और कठिन बनाना नहीं है, बल्कि कार्यों को वास्तविकता के करीब लाना है, जहाँ विभिन्न संज्ञानात्मक कौशल एक साथ काम करते हैं। संभवतः, ऐसे ही बेंचमार्क केवल "याद रखने की क्षमता" या "निर्वात में तार्किक रूप से सोचने की क्षमता" का नहीं, बल्कि जटिल परिदृश्यों में मॉडलों की व्यावहारिक उपयोगिता का मूल्यांकन करने की अनुमति देंगे।
