नया बेंचमार्क क्यों ज़रूरी है
जितना अधिक कोड न्यूरल नेटवर्क लिखते हैं, उतना ही तीव्र सवाल उठता है: कैसे सुनिश्चित किया जाए कि यह कोड वास्तव में वही करता है जो करना चाहिए? सामान्य परीक्षण कुछ त्रुटियों को पकड़ लेते हैं, लेकिन शुद्धता की औपचारिक गारंटी नहीं देते। इसके लिए वेरिफिकेशन की आवश्यकता होती है — प्रोग्राम का सख्त गणितीय कथनों की भाषा में अनुवाद और उसके गुणों का प्रमाण। यह काम महंगा और जटिल है, इसलिए शोधकर्ता इसे AI पर छोड़ना चाहते हैं।
समस्या यह है कि साफ-सुथरे शैक्षिक उदाहरणों पर प्रशिक्षित मॉडल अक्सर वास्तविक कोड का सामना करने पर भटक जाते हैं। असली प्रोजेक्ट्स में अंतर्निहित समझौतों, भाषा की विशेषताओं और अनप्रलेखित व्यवहार की भरमार होती है। यह जाँचने के लिए कि AI ऐसी परिस्थितियों में कितना सक्षम है, एक बड़े पैमाने का परीक्षण क्षेत्र चाहिए जो वास्तविक प्रोग्रामों पर आधारित हो, न कि सिंथेटिक समस्याओं पर।
FVSpec: AI के लिए चुनौती के रूप में वास्तविक परीक्षण
शोधकर्ताओं के एक समूह — Quinn Dougherty, Max von Hippel, Simon Henniger, Hazel Shackleton और Mike Dodds — ने FVSpec बेंचमार्क प्रस्तुत किया। यह कार्य arXiv पर संख्या 2606.01008 के तहत प्रकाशित हुआ, और अगस्त 2026 में लेखकों ने एक अद्यतन संस्करण जारी किया।
मूल विचार वास्तविक Python रिपॉजिटरी से property-based परीक्षणों को लेना और उन्हें Lean 4 भाषा में औपचारिक विनिर्देशों में बदलना है। ऐसे परीक्षण विशिष्ट उदाहरणों की नहीं, बल्कि फ़ंक्शन के गुणों की जाँच करते हैं: «किसी भी मान्य इनपुट के लिए एक निश्चित शर्त पूरी होती है»। यह उन्हें गणितीय औपचारिकीकरण के लिए एक स्वाभाविक सेतु बनाता है।
लेखकों ने खुले Python प्रोजेक्ट्स से 11,039 property-based परीक्षण एकत्र किए। इनमें से केवल 2,772 का Lean 4 में स्वचालित रूप से अनुवाद संभव हो सका — लगभग एक चौथाई। इसके परिणामस्वरूप 9,415 विनिर्देश प्राप्त हुए: प्रत्येक सफलतापूर्वक अनुवादित परीक्षण के लिए लगभग तीन औपचारिकीकरण विकल्प। यह अतिरिक्त भंडार आवश्यक है क्योंकि एक ही गुण को विभिन्न तरीकों से लिखा जा सकता है, और पहले से यह स्पष्ट नहीं होता कि आगामी प्रमाण के लिए कौन सा विकल्प अधिक सुविधाजनक होगा।
यह कठिन क्यों है
परीक्षणों को Lean में दोबारा लिखना सिंटैक्स का यांत्रिक प्रतिस्थापन नहीं है। Python और Lean विभिन्न प्रतिमानों में हैं: पहले में — डायनामिक टाइपिंग, परिवर्तनीय ऑब्जेक्ट और इम्पेरेटिव निर्माण, दूसरे में — आश्रित प्रकारों के साथ सख्त प्रणाली। विनिर्देश को कोड के वास्तविक व्यवहार के अनुरूप बनाने के लिए, Python के सिमेंटिक्स को सावधानीपूर्वक मॉडल करना पड़ता है।
अतिरिक्त जटिलता यह है कि property-based परीक्षण अक्सर एक इम्पेरेटिव स्क्रिप्ट के रूप में लिखा जाता है: लूप, अपवाद और स्थिति के साथ काम के साथ। इसमें से «किसी भी x के लिए P(x) सत्य है» जैसा शुद्ध कथन निकालना — एक अलग शोध कार्य है।
अंत में, Lean 4 एक जटिल प्रकार प्रणाली वाली भाषा बनी हुई है, जो पेशेवर विकास में भी शायद ही मिलती है। भाषा मॉडल के लिए यह एक गंभीर चुनौती है: उन्हें एक साथ दुर्लभ सिंटैक्स सीखना, आश्रित प्रकारों की आदत डालना और सही परिभाषाएँ उत्पन्न करनी होती हैं।
पाइपलाइन और मूल्यांकन की संरचना
स्वचालित अनुवाद के लिए लेखकों ने तीन LLM-एजेंटों की एक पाइपलाइन बनाई। विवरण के अनुसार, एजेंट आपस में काम बाँटते हैं: एक मूल परीक्षण का विश्लेषण करता है, दूसरा विनिर्देश बनाता है, तीसरा परिणाम की जाँच और सुधार करता है। पाइपलाइन का सारा कोड, साथ ही एकत्रित डेटा, प्रकाशित किया गया है।
अनुवाद की गुणवत्ता का मूल्यांकन कई दिशाओं में किया गया। कवरेज दर्शाता है कि वास्तविक परीक्षणों का कितना अनुपात औपचारिकीकरण के योग्य है। अलग-अलग गुणवत्ता मेट्रिक्स आकलन करती हैं कि प्राप्त विनिर्देश कोड के मूल व्यवहार को कितना प्रतिबिंबित करता है। इसके अलावा, शोधकर्ताओं ने प्रमाण निर्माण के लिए बेसलाइन स्थापित कीं: उन्होंने कई स्वचालित और मॉडल-आधारित दृष्टिकोण चलाए और पता लगाया कि वे तैयार किए गए कथनों को कितनी बार सिद्ध कर पाते हैं। ऐसे माप भविष्य के कार्यों को तुलना के लिए एक संदर्भ बिंदु देते हैं।
व्यवहार में इसका क्या लाभ है
FVSpec एक कम खोजे गए क्षेत्र — वास्तविक सॉफ्टवेयर के AI-सहायता प्राप्त औपचारिक वेरिफिकेशन — पर केंद्रित है। शैक्षिक उदाहरणों के गुणों को सिद्ध करने की क्षमता वास्तविक कोड पर सफलता की गारंटी नहीं देती, इसलिए वास्तविक परीक्षणों पर आधारित बेंचमार्क विधियों की ईमानदार तुलना और प्रगति पर नज़र रखने में मदद करता है।
ऐसे दृष्टिकोण का महत्व न्यूरल नेटवर्क द्वारा उत्पन्न कोड की मात्रा के साथ बढ़ता है। यदि AI तेजी से प्रोग्राम लिखता है, तो शुद्धता जाँच के स्वचालित उपकरण विलासिता नहीं, बल्कि आवश्यकता बन जाते हैं।
निष्कर्ष
FVSpec इस दिशा में एक उल्लेखनीय कदम है कि औपचारिक वेरिफिकेशन केवल विशेषज्ञों का क्षेत्र न रहकर एक व्यावहारिक उपकरण बन जाए। बेंचमार्क वास्तविक property-based परीक्षणों, Lean 4 भाषा और खुली LLM-पाइपलाइन को जोड़ता है। सुलभ डेटा और कोड के कारण कोई भी शोधकर्ता प्रयोगों को दोहरा सकता है या अपना स्वयं का दृष्टिकोण प्रस्तावित कर सकता है, और इस प्रकार समुदाय को आगे बढ़ने के लिए एक साझा बिंदु मिलता है।
