सही उत्तर अभी भी चित्र नहीं है
आधुनिक बड़े भाषा मॉडल ओलंपियाड गणित की समस्याओं को आत्मविश्वास से हल करते हैं। ज्यामिति में यह विशेष रूप से ध्यान देने योग्य है: मॉडल एक संख्यात्मक उत्तर देता है, और ऐसा लगता है कि वह स्थिति की कल्पना करता है। हालाँकि, किसी समस्या को हल करने की क्षमता और सही आरेख बनाने की क्षमता के बीच बहुत बड़ा अंतर है। उत्तर बीजगणितीय परिवर्तनों के माध्यम से प्राप्त किया जा सकता है, जबकि एक चित्र के लिए बिंदुओं, रेखाओं और अतिरिक्त निर्माणों की पारस्परिक स्थिति पर विचार करने की आवश्यकता होती है। उदाहरण के लिए, GPT और Claude मानक गणित परीक्षणों में उच्च परिणाम दिखाते हैं, लेकिन हाल तक कोई ऐसा परीक्षण नहीं था जो अलग से उनकी चित्र बनाने की क्षमता की जाँच करता।
नए काम के लेखक (प्रीप्रिंट arXiv:2608.18111, ICML 2026 के भीतर AI4MATH कार्यशाला में प्रस्तुत) ध्यान देते हैं कि मौजूदा बेंचमार्क, जिनमें लोकप्रिय MathVista और MathVerse शामिल हैं, मुख्य रूप से अंतिम उत्तर का मूल्यांकन करते हैं। उनके अनुसार, उनमें से कोई भी आरेख निर्माण को एक स्वतंत्र कौशल के रूप में अलग नहीं करता है। यही नए डेटासेट का प्रारंभिक बिंदु बना।
बेंचमार्क के अंदर क्या है
शोधकर्ताओं ने ओलंपियाड ज्यामिति की 954 समस्याओं का एक खुला सेट एकत्र किया। प्रत्येक समस्या पूरी तरह से आत्मनिर्भर है: इसकी स्थिति को बाहरी संदर्भों की आवश्यकता नहीं होती है और यह स्पष्ट व्याख्या की अनुमति देती है। इसके अतिरिक्त, सेट में 297 समस्याओं का एक कठिन उपसमूह शामिल है, जिसके लिए चित्र के साथ विशेष रूप से सावधानीपूर्वक काम करना महत्वपूर्ण है।
प्रत्येक समस्या के लिए, लेखकों ने एक संदर्भ समाधान और Asymptote कोड में मानव-निर्मित उच्च-सटीक चित्र तैयार किया। यह प्रारूप आरेख को रेंडर करने और मॉडल द्वारा उत्पन्न चित्र के साथ तुलना करने की अनुमति देता है।
आरेखीय तर्क का मूल्यांकन करने के लिए, डेवलपर्स कई प्रकार के मेट्रिक्स प्रस्तावित करते हैं। वे पाठ, कोड, अंतिम छवि के आधार पर परिणाम की जाँच करते हैं, साथ ही विज़न-भाषा मॉडल और बाधाओं की अलग-अलग जाँच भी शामिल करते हैं। इसके लिए धन्यवाद, कोई न केवल यह देख सकता है कि आकृति बनी है या नहीं, बल्कि यह भी देख सकता है कि यह मूल ज्यामितीय स्थितियों से कितनी मेल खाती है।
पहले परीक्षणों ने क्या दिखाया
लेखकों ने बेंचमार्क के माध्यम से कई मौलिक मॉडल चलाए। परिणामों ने मूल परिकल्पना की पुष्टि की: मॉडल उनके लिए आरेख बनाने की तुलना में समस्याओं को हल करने में काफी बेहतर हैं। उत्पन्न चित्रों के सफल संकलन का औसत संकेतक केवल 36.14% था। इसका मतलब है कि ज्यादातर मामलों में मॉडल या तो कोड के साथ सामना नहीं करता है, या ज्यामितीय रूप से गलत आकृति बनाता है।
इसके अलावा, कम परिणाम को केवल Asymptote भाषा की जटिलता से नहीं समझाया जा सकता है: कुछ समस्याओं के लिए, मॉडल सही उत्तर देते हैं, लेकिन अनुमानित स्थिति भी नहीं बना पाते हैं। ऐसा लगता है कि आधुनिक AI में स्थानिक सोच और गणितीय तर्क स्वतंत्र रूप से विकसित होते हैं, और वर्तमान प्रशिक्षण विधियाँ उन्हें आपस में नहीं जोड़ती हैं।
यह क्यों महत्वपूर्ण है
सटीक चित्र ओलंपियाड ज्यामिति का एक महत्वपूर्ण हिस्सा है। अक्सर यह अतिरिक्त निर्माण होता है — एक खींचा गया वृत्त, एक खंड या एक सममित बिंदु — जो समाधान का सुझाव देता है। यदि कोई मॉडल ऐसे सहायक तत्वों का निर्माण नहीं कर सकता है, तो ज्यामिति में उसकी "सफलता" को समस्या की पूर्ण समझ नहीं माना जा सकता है।
बनाया गया बेंचमार्क शोधकर्ताओं को हल करने की क्षमता को विज़ुअलाइज़ करने की क्षमता से अलग करने की अनुमति देता है। यह पहला कदम है ताकि डेवलपर्स ग्राफिकल प्रस्तुतियों के साथ काम करने के लिए मॉडल को उद्देश्यपूर्ण ढंग से प्रशिक्षित करना शुरू करें। 954 समस्याओं का खुला डेटा एनोटेशन में लिंक पर उपलब्ध है, इसलिए कोई भी नए परीक्षण का उपयोग कर सकता है।
निष्कर्ष सरल है: सही उत्तर सही चित्र की गारंटी नहीं है। नया डेटासेट इसे स्पष्ट रूप से देखने में मदद करता है और संभवतः AI के अधिक "स्थानिक" प्रशिक्षण का आधार बन जाएगा।
