विश्वसनीय लगने वाला जवाब पर्याप्त क्यों नहीं है
विश्वसनीय लगने वाला नतीजा यह साबित नहीं करता कि AI एजेंट ने प्रक्रिया का पालन किया। इसके लिए सिर्फ जवाब ही नहीं, बल्कि प्रक्रिया पूरी किए जाने के साक्ष्यों की भी जाँच करनी होगी।
ContractEval में प्रक्रियात्मक अनुपालन को जाँच की एक अलग वस्तु माना जाता है। नियंत्रित डेटासेट में LLM जजों ने कृत्रिम रूप से जोड़ी गई कई संरचनात्मक विफलताओं को नहीं पकड़ा। ऐसा जवाब का ही मूल्यांकन करने पर भी हुआ और निष्पादन ट्रेस को ध्यान में रखने पर भी।
- जवाब बताता है कि सिस्टम ने क्या कहा।
- निष्पादन ट्रेस में की गई कार्रवाइयों के साक्ष्य होते हैं।
- प्रक्रियात्मक जाँच इन साक्ष्यों का आवश्यकताओं से मिलान करती है।
मानदंड: जवाब के विश्वसनीय लगने को प्रक्रिया के पालन का प्रमाण न मानें।
प्रक्रियात्मक जाँच कैसे काम करती है
ContractEval किसी निर्देश को उन दायित्वों के समूह के रूप में प्रस्तुत करता है जो किसी खास अनुरोध के लिए लागू होते हैं। फिर सिस्टम इन दायित्वों का जवाब या निष्पादन ट्रेस में मौजूद साक्ष्यों से मिलान करता है।
जाँच में तीन तत्व शामिल हैं:
- अनुरोध तय करता है कि कौन-से दायित्व लागू हैं।
- जवाब या ट्रेस साक्ष्यों के स्रोत होते हैं।
- मिलान अनुपालन और उल्लंघनों की पहचान करता है।
व्यावहारिक मानदंड: जाँच में किसी आवश्यकता को जवाब या ट्रेस के किसी ठोस साक्ष्य से जोड़ा जाना चाहिए।
किस तरह के उल्लंघनों में अंतर किया जा सकता है
ContractEval प्रक्रियागत विफलताओं के अलग-अलग प्रकार पहचानता है। यह वर्गीकरण दिखाता है कि आवश्यकताओं और निष्पादन में ठीक कहाँ अंतर है।
- चूक — कोई आवश्यक कार्रवाई या आवश्यकता मौजूद नहीं है।
- गलत शाखा — निष्पादन प्रक्रिया की अनुपयुक्त शाखा पर चला गया।
- क्रम की त्रुटि — कार्रवाइयाँ आवश्यक क्रम में नहीं हैं।
- अनावश्यक कार्रवाई — निष्पादन में निर्धारित दायरे से बाहर की कार्रवाई शामिल है।
- अपरिवर्तनीय शर्त का उल्लंघन — ऐसी शर्त का पालन नहीं किया गया जिसे बनाए रखना आवश्यक है।
- आउटपुट आवश्यकताओं का उल्लंघन — परिणाम निर्धारित फ़ॉर्मेट या सामग्री संबंधी आवश्यकताओं पर खरा नहीं उतरता।
मानदंड: वर्गीकरण में विफलता का प्रकार बताया जाना चाहिए, न कि सभी उल्लंघनों को जवाब के एक सामान्य मूल्यांकन में समेट देना चाहिए।
अध्ययन में क्या सामने आया
ContractEval पेपर के लेखकों ने प्रक्रियात्मक अनुबंधों के नियंत्रित डेटासेट पर जाँच के तरीकों की तुलना की। अपेक्षित और देखे गए निष्पादन के संदर्भ ग्राफ़ ने कृत्रिम रूप से जोड़ी गई सभी संरचनात्मक विफलताओं का पता लगाया और उनका स्थान निर्धारित किया।
| जाँच का तरीका | परिणाम |
|---|---|
| LLM जज जवाब का मूल्यांकन करते हैं या ट्रेस को ध्यान में रखते हैं | जोड़ी गई कई विफलताओं को नहीं पकड़ पाए |
| संदर्भ और देखे गए ग्राफ़ का मिलान | ऐसी सभी विफलताओं का पता लगाया और उनका स्थान निर्धारित किया |
| LLM की मदद से डेटा निकालना | सिग्नल का बड़ा हिस्सा बनाए रखा, लेकिन परिणाम कैलिब्रेशन पर निर्भर था |
Praphul Singh, Shanu Kumar, Akshat Agarwal और Ganesh Kumar का पेपर 8 सितंबर 2026 को arXiv पर भेजा गया: ContractEval.
निष्कर्ष: परिणाम नियंत्रित डेटासेट से जुड़े हैं; इन्हें हर तरह के परिदृश्य पर लागू नहीं किया जा सकता।
जाँच की सीमाएँ कहाँ हैं
ContractEval यह गारंटी नहीं देता कि सिस्टम ने प्रक्रिया का पालन किया। यह अनुपालन को ऑडिट करने योग्य बनाता है, न कि अंतिम जवाब की ऐसी गुणवत्ता मानता है जिसे बिना जाँच के मान लिया जाए।
जाँच का तरीका चुनते समय दो शर्तें महत्वपूर्ण हैं:
- क्या अपेक्षित निष्पादन का कोई संदर्भ प्रतिनिधित्व मौजूद है।
- क्या उसका वास्तविक ट्रेस या जवाब में मौजूद साक्ष्यों से मिलान किया जा सकता है।
अगर LLM की मदद से डेटा निकाला जाता है, तो परिणाम की कैलिब्रेशन के प्रति संवेदनशीलता को ध्यान में रखना चाहिए। अंतिम जवाब अपने आप में प्रक्रियात्मक साक्ष्यों की जाँच का विकल्प नहीं है।
व्यावहारिक मानदंड: अनुपालन को तभी सत्यापित मानें, जब आवश्यकताओं का मिलान देखे गए निष्पादन से किया गया हो।
