MathAdv: मशीन-निर्मित प्रमाणों की अंतिम सटीकता के पीछे क्या छिपा है?
गणित के 13 स्नातक और स्नातकोत्तर विषयों के कार्यों का यह नैदानिक समूह Lean 4 में स्वचालित प्रमेय-प्रमाणन प्रणालियों का मूल्यांकन केवल अंतिम परिणाम के आधार पर नहीं, बल्कि विषय पर उनकी पकड़, अनौपचारिक तर्क की गुणवत्ता और शर्तों को नए शब्दों में प्रस्तुत किए जाने पर उनकी मजबूती के आधार पर भी करता है। घटक-वार विश्लेषण से पता चलता है कि किसी समस्या को औपचारिक रूप में बदलना अब भी सबसे बड़ी बाधा है, और सफलता गणित के क्षेत्र तथा समस्या को प्रस्तुत करने के तरीके पर बहुत अधिक निर्भर करती है।

बेंचमार्क वास्तव में क्या मापता है
MathAdv, प्रमेय-प्रमाणन प्रणालियों का मूल्यांकन करने वाला एक नैदानिक बेंचमार्क है। इसमें विश्वविद्यालय और स्नातकोत्तर स्तर के गणित के 13 क्षेत्र शामिल हैं। यह बेंचमार्क Lean 4 में प्रमेयों के प्रमाण और अधिकतम तीन सहायक कार्यों की जाँच करता है।
| घटक | यह क्या जाँचता है |
|---|---|
| Lean 4 में प्रमेयों का प्रमाण | औपचारिक प्रमाण बनाने की प्रणाली की क्षमता |
| बहुविकल्पीय प्रश्न | गणितीय ज्ञान |
| रिक्त स्थान भरने वाले कार्य | अनौपचारिक तर्क-विचार |
| विशेषज्ञों द्वारा किए गए कथन-रूपांतरण | समस्या को प्रस्तुत करने के तरीके के प्रति स्थिरता |
प्रमेय-प्रमाणन की समग्र सटीकता यह नहीं दिखाती कि प्रणाली किस चरण में परिणाम खोती है। घटक-वार मूल्यांकन ज्ञान, अनौपचारिक तर्क-विचार, औपचारिकीकरण और स्थिरता को अलग-अलग दिखाता है। व्यावहारिक कसौटी: केवल अंतिम आँकड़े को नहीं, बल्कि घटक-वार परिणामों को देखें।
कार्य की परिस्थितियों के बारे में अंतिम सटीकता क्या नहीं दिखाती
समग्र सटीकता, संकेतों और पुनर्कथनों पर प्रणाली की प्रतिक्रिया को छिपा देती है। एक ही मापदंड इन परिस्थितियों के बीच अंतर नहीं बताता। तालिका दिखाती है कि कुल संख्या में कौन-से प्रभाव छूट जाते हैं।
| परिस्थिति | अवलोकन | क्या जाँचें |
|---|---|---|
| प्राकृतिक भाषा में संकेत | सामान्य-उद्देश्य वाले बड़े भाषा मॉडल की मदद कर सकते हैं, लेकिन विशिष्ट मॉडल के लिए बाधा बन सकते हैं | संकेतों के साथ और उनके बिना परिणाम |
| समतुल्य पुनर्कथन | स्थिरता की महत्त्वपूर्ण सीमाएँ उजागर करते हैं | रूपांतरित कथनों पर परिणाम |
प्राकृतिक भाषा में संकेत सामान्य-उद्देश्य वाले बड़े भाषा मॉडल की मदद करते हैं। वही संकेत प्रमाणन में विशेषज्ञता रखने वाले मॉडलों के लिए बाधा बन सकते हैं। गणितीय रूप से समतुल्य पुनर्कथन, स्थिरता की महत्त्वपूर्ण सीमाएँ उजागर करते हैं।

अंतिम सटीकता इन प्रभावों को प्रमाण के समग्र परिणाम से अलग नहीं करती। एक मापदंड यह नहीं दिखाता कि संकेत कहाँ मदद करता है और कहाँ बाधा बनता है। व्यावहारिक कसौटी: संकेतों के प्रति संवेदनशीलता और पुनर्कथनों के प्रति स्थिरता का अलग-अलग मूल्यांकन करें।
औपचारिकीकरण और गणित के क्षेत्रों के बीच अंतर
औपचारिकीकरण अब भी एक बड़ी अड़चन है। गणित के अलग-अलग क्षेत्रों में प्रणालियों के परिणामों में काफ़ी अंतर होता है। इस बेंचमार्क में विश्वविद्यालय और स्नातकोत्तर स्तर के गणित के क्षेत्र शामिल हैं। Lean 4 में जाँच, औपचारिक प्रमाण को सहायक कार्यों से अलग करती है।
| अवलोकन | मूल्यांकन के लिए इसका अर्थ |
|---|---|
| औपचारिकीकरण एक अड़चन है | कार्य को औपचारिक परिवेश में बदलने से अंतिम सटीकता सीमित हो सकती है |
| क्षेत्रों के अनुसार अंतर | समग्र परिणाम, क्षेत्रों के बीच के अंतर को छिपा देता है |
व्यावहारिक कसौटी: गणित के क्षेत्रों और औपचारिकीकरण के चरण के अनुसार प्रणालियों की तुलना करें। एक समग्र मापदंड यह नहीं दिखाता कि प्रणाली प्रमाण को ठीक किस जगह खोती है।
प्रणाली चुनते समय बेंचमार्क का उपयोग कैसे करें
घटक-वार मूल्यांकन से मॉडलों की क्षमताओं और उनकी विफलता के कारणों का पता चलता है। डेटासेट और मूल्यांकन स्क्रिप्ट लेख के पृष्ठ पर दिए गए लिंक से उपलब्ध हैं। लेख का पहला संस्करण 26 अगस्त 2026 को प्रस्तुत किया गया था; उल्लेखित नवीनतम संस्करण 19 अक्टूबर 2026 का v3 है।
जाँच के मानदंड:
- गणित के क्षेत्रों के अनुसार परिणामों का विभाजन;
- Lean 4 में औपचारिकीकरण का अलग परिणाम;
- प्राकृतिक भाषा में संकेतों के साथ और उनके बिना प्रदर्शन की तुलना;
- गणितीय रूप से समतुल्य पुनर्कथनों पर जाँच;
- मूल्यांकन के विवरण वाले लेख का संस्करण और तारीख।
मानदंडों का यह समूह दिखाता है कि समग्र सटीकता क्या छिपाती है। चुनने की व्यावहारिक कसौटी: केवल अंतिम सटीकता की नहीं, बल्कि घटकों की रूपरेखा की तुलना करें।
अक्सर पूछे जाने वाले प्रश्न
समान सामग्री
सभी सामग्री
AffordanceWAM: दृश्य पूर्वानुमान और मैनिपुलेटर नियंत्रण के बीच मध्यस्थ के रूप में अफ़ॉर्डेंस
यह कार्य एक जनरेटिव मॉडल का वर्णन करता है, जो मानव वीडियो का उपयोग करके बिना क्रिया एनोटेशन और रीटार्गेटिंग के अंतःक्रियाओं की विविधता बढ़ाते हुए, भविष्य के RGB अवलोकनों, स्केलर फ़ील्ड्स और अफ़ॉर्डेंस हीटमैप्स तथा रोबोट के सतत कमांड्स का एक साथ पूर्वानुमान लगाता है। RoboCasa, CALVIN ABC→D और वास्तविक दुनिया के कार्यों पर, यह दृष्टिकोण केवल-RGB और केवल-रोबोट डेटा वाले बेसलाइन की तुलना में लगातार बेहतर प्रदर्शन करता है।
9 नवम्बर 2026
प्रेज़ेंटेशन संपादन को नियंत्रित संचालन के रूप में: EditPPT फ़्रेमवर्क और DeckEdit-Bench बेंचमार्क
लेखक स्लाइड संपादन को विशिष्ट ऑब्जेक्ट, अनुमत कार्रवाइयों और इस जाँच में बाँटते हैं कि असंबंधित सामग्री अछूती रही है, न कि कोड के मुक्त रूप से निर्माण में। गुणवत्ता मापने के लिए DeckEdit-Bench बनाया गया (28 मानव-निर्मित प्रस्तुतियों पर 183 कार्य), और पाँच आधारभूत मॉडलों पर बहु-एजेंट प्रणाली EditPPT, 97% से अधिक सामग्री सुरक्षित रखते हुए 66.7–74.9% कार्यों में सफल होती है।
8 नवम्बर 2026
कारकों की गैर-यूक्लिडीय ज्यामिति: निरूपणों के पृथक्करण के लिए FactoMap मानचित्र
कारकों के स्थान का वर्णन क्षेत्रों, जनरेटर द्वारा निर्धारित समतुल्यताओं और स्थानीय पैमानों के माध्यम से करने की एक विधि प्रस्तावित की गई है। इससे उन मामलों में अंतर करना संभव होता है जो टोपोलॉजिकल रूप से निकट हैं, लेकिन जिनकी ज्यामिति अलग-अलग है। FactoMap विधि एक संरचित जाल पर व्याख्या योग्य प्रोटोटाइपों को प्रशिक्षित करती है और प्रयोगों में कारकों की निरंतरता तथा उनके पृथक्करण को अधिक स्थिरता से बनाए रखने का प्रदर्शन करती है।
8 नवम्बर 2026