AURA-Eval: कैसे जाँचें कि LLM एजेंट ने जोखिम को पहचाना और अगला कदम बदल दियाેણ
यह फ्रेमवर्क LLM एजेंटों के व्यवहार का आकलन अंतिम निर्णय के आधार पर नहीं, बल्कि अहम बिंदुओं पर जोखिम के प्रति उनकी प्रतिक्रिया के आधार पर करता है: टूल-कॉल की ट्रैजेक्टरी बीच में रोक दी जाती हैं, जिसके बाद मॉडल को अपना तर्क और कार्रवाई जारी रखनी होती है, जबकि LLM जजों का एक पैनल जोखिम की पहचान, कदम की प्रकृति और उसकी सुरक्षा का विश्लेषण करता है। R-Judge की 157 ट्रैजेक्टरी से संकलित 1249 कार्यों में, 20 मॉडलों में सुरक्षित रास्ता न होने पर असुरक्षित कार्रवाइयाँ बढ़ जाती हैं, और निष्पादन से पहले निगरानी हटाने पर शुरुआत में सुरक्षित रहे 52,3% मामले असुरक्षित हो जाते हैं।

फ़्रेमवर्क वास्तव में किस चीज़ का मूल्यांकन करता है
AURA-Eval जाँचता है कि LLM एजेंट संदर्भगत जोखिम को पहचानता है या नहीं और उस जोखिम के अनुसार अपना अगला कदम बदलता है या नहीं। जाँच के प्रमुख तत्व:
- सुरक्षा की दृष्टि से महत्वपूर्ण निर्णय-बिंदु पर टूल-उपयोग की ट्रैजेक्टरी को काटना;
- अगली सोच जनरेट करना;
- अगली कार्रवाई जनरेट करना।
यह तरीका केवल अंतिम उत्तर नहीं, बल्कि उसी क्षण लिए गए निर्णय की जाँच करता है। एजेंट सुरक्षित अंतिम उत्तर दे सकता है, लेकिन बीच के किसी चरण में खतरनाक कार्रवाई चुन सकता है। निर्णय-बिंदु पर ट्रैजेक्टरी को काटने से यह चुनाव दिखाई देता है।

व्यावहारिक मानदंड: एजेंट की जाँच वहाँ करें जहाँ वह टूल और अगला कदम चुनता है, न कि केवल उसके अंतिम उत्तर के आधार पर।
जोखिम के छह तंत्र और परिदृश्यों के जोड़े
यह फ़्रेमवर्क जोखिम के छह तंत्रों के आधार पर नियंत्रित परिदृश्य-विकल्प तैयार करता है। सूची: हानि की तीव्रता (harm intensity), पैमाना (scale), लक्ष्य की संवेदनशीलता (target susceptibility), सिस्टम पर निर्भरता (system dependency), निगरानी (oversight), प्रतिवर्तनीयता (reversibility)।
फ़्रेमवर्क परिदृश्यों के जोड़े भी बनाता है। परिदृश्य मूल लक्ष्य को बनाए रखते हैं, लेकिन इस आधार पर अलग होते हैं कि उसे पूरा करने का सुरक्षित तरीका उपलब्ध है या नहीं। ऐसा जोड़ा दिखाता है कि एजेंट अनुरोध को असुरक्षित तरीके से पूरा करता है या सुरक्षित रास्ता उपलब्ध होने पर भी ज़रूरत से ज़्यादा इनकार करता है।
निष्कर्ष: परिदृश्यों के जोड़ों के बिना की गई जाँच दो गलतियों को मिला देती है—असुरक्षित तरीके से अनुरोध पूरा करना और अत्यधिक इनकार करना। व्यावहारिक मानदंड: सुरक्षित तरीका उपलब्ध होने और न होने—दोनों स्थितियों में एजेंट के व्यवहार की तुलना करें।
जजों का पैनल: मूल्यांकन के तीन आयाम
हर निरंतरता का मूल्यांकन LLM जजों का एक पैनल करता है। इस पैनल को मानवीय एनोटेशन के आधार पर सत्यापित किया गया है। जज निरंतरता का मूल्यांकन तीन आयामों पर करते हैं:
- तर्क-श्रृंखला में जोखिम की पहचान;
- कार्रवाई का प्रकार;
- कार्रवाई की सुरक्षा।
इन आयामों को अलग रखना महत्वपूर्ण है। इससे पता चलता है कि एजेंट ने तर्क में जोखिम पहचाना या नहीं और सुरक्षित कार्रवाई चुनी या नहीं। केवल कार्रवाई के आधार पर मूल्यांकन करने से वे मामले छिप जाते हैं जिनमें जोखिम तो पहचाना गया, लेकिन कदम नहीं बदला गया।
व्यावहारिक मानदंड: पैनल से तर्क और कार्रवाई का अलग-अलग मूल्यांकन करवाएँ। वरना असुरक्षित कदम का कारण स्पष्ट नहीं होता।
20 मॉडल क्या दिखाते हैं
मूल्यांकन में R-Judge की 157 मूल ट्रैजेक्टरियों के आधार पर बनाए गए 1,249 कार्य शामिल हैं। इसमें 20 फ्रंटियर, ओपन-वेट और सेफ़्टी-ट्यून्ड मॉडल शामिल थे। सभी 20 में, अनुरोध पूरा करने का सुरक्षित तरीका न होने पर असुरक्षित कार्रवाइयों का अनुपात अधिक होता है।
फ्रंटियर मॉडल सुरक्षित तरीका न होने पर 27-40% असुरक्षित कार्रवाइयाँ करते हैं, जबकि सुरक्षित तरीका उपलब्ध होने पर यह अनुपात 5-7% होता है। सुरक्षित तरीका होने पर फ्रंटियर मॉडल बहुत कम इनकार करते हैं। सुरक्षित तरीका न होने पर वे अक्सर विकल्प सुझाते हैं।
| स्थिति | फ्रंटियर मॉडल में असुरक्षित कार्रवाइयों का अनुपात |
|---|---|
| अनुरोध पूरा करने का सुरक्षित तरीका उपलब्ध है | 5-7% |
| कोई सुरक्षित तरीका उपलब्ध नहीं है | 27-40% |
ओपन-वेट मॉडल अलग तरह से व्यवहार करते हैं। वे विकल्प सुझाने की तुलना में अनुरोध पूरा करने की अधिक संभावना रखते हैं। कार्यों में वे 58-83% मामलों में असुरक्षित तरीके से कार्रवाई करते हैं।
व्यावहारिक मानदंड: दोनों स्थितियों में मॉडलों की तुलना करें। सुरक्षित रास्ता उपलब्ध होने पर असुरक्षित कार्रवाइयों का कम अनुपात, उसके न होने पर सुरक्षा की गारंटी नहीं देता।
तंत्रों का नियंत्रित विश्लेषण: निगरानी और पैमाना
जोखिम तंत्रों का नियंत्रित विश्लेषण दिखाता है कि निगरानी और पैमाने में बदलाव होने पर असुरक्षित कार्रवाइयों के अनुपात विशेष रूप से अधिक होते हैं। कार्रवाई से पहले की निगरानी (pre-execution oversight) हटाने पर, संबंधित मूल परिदृश्य में सुरक्षित रहे 52.3% मामले असुरक्षित हो जाते हैं।
कार्रवाई से पहले की निगरानी सुरक्षा की गारंटी के तौर पर काम नहीं करती। बदली हुई निगरानी वाला परिदृश्य जाँचता है कि निगरानी का स्तर अलग होने पर भी एजेंट सुरक्षित व्यवहार बनाए रखता है या नहीं।
व्यावहारिक मानदंड: मूल्यांकन में कार्रवाई से पहले की निगरानी हटाए गए और पैमाने में बदलाव वाले विकल्प शामिल करें। इनके बिना जाँच यह नहीं दिखाती कि एजेंट इन तंत्रों के प्रति कितना लचीला है।
एजेंट चुनते समय मूल्यांकन का उपयोग कैसे करें
AURA-Eval जाँच की संरचना निर्धारित करता है। पहले टूल-उपयोग की ट्रैजेक्टरियाँ चुनी जाती हैं और उन्हें महत्वपूर्ण बिंदुओं पर काटा जाता है। फिर जोखिम के छह तंत्रों के आधार पर परिदृश्यों के जोड़े बनाए जाते हैं और जजों का पैनल निरंतरताओं का मूल्यांकन करता है।
मॉडल चुनने के लिए व्यवहार की दो प्रोफ़ाइलों की तुलना करें। पहली—सुरक्षित तरीका उपलब्ध होने पर: एजेंट को ज़रूरत से ज़्यादा इनकार नहीं करना चाहिए। दूसरी—सुरक्षित तरीका उपलब्ध न होने पर: एजेंट को अनुरोध असुरक्षित तरीके से पूरा करने के बजाय विकल्प सुझाना चाहिए।
चयन का मानदंड: दोनों प्रोफ़ाइलों में स्थिरता और निगरानी तथा पैमाने की अलग-अलग जाँच। इनकारों का अनुपात इस जाँच का विकल्प नहीं है।
अक्सर पूछे जाने वाले प्रश्न
समान सामग्री
सभी सामग्री
RL सिम्युलेटरों की विफलताओं के निदान में कैनोनिकल बहुपद अपरिवर्तांक: वे वास्तव में कहाँ उपयोगी हैं
यह अध्ययन जाँचता है कि क्या सीखने योग्य गतिशीलता मॉडल में भौतिक नियमों को शामिल करना उचित है: प्रक्षेप पथों से निकाले गए और ग्रोबनर आधारों के माध्यम से विहित रूप में लाए गए अपरिवर्तक पूर्वानुमानों में मामूली सुधार देते हैं, लेकिन निदान में प्रभावी साबित होते हैं—वे उल्लंघित बाधा का स्थान निर्धारित करने और विशिष्ट गलत पैरामीटर की पहचान करने में सक्षम बनाते हैं।
10 नवम्बर 2026
चेर्न–साइमन रिज़र्वॉयर की स्मृति: संयोजकता की स्वायत्त गतिशीलता और घनत्व का परिवहन
यह लेख बताता है कि रिज़र्वॉयर इनपुट संकेतों का इतिहास घनत्व वितरण और ज्यामितीय स्वतंत्रता की डिग्रियों—दोनों में कैसे बनाए रखता है। चार तंत्रों की तुलना से पता चलता है कि धारा एक अलग संयोजकता घटक बनाती है, जो घनत्व की बाद की प्रतिक्रिया को बदलती है, जबकि सभी मापे गए लक्षणों को शामिल करने से पल्स के क्रम को डिकोड करने में थोड़ा सुधार होता है।
10 नवम्बर 2026
STAR: एंड-टू-एंड घटना प्रबंधन के लिए समय-संदर्भ और सेवा ग्राफ का अनुकूली सामान्यीकरण
STAR फ्रेमवर्क मेट्रिक्स, लॉग और ट्रेस के आधार पर अभ्यावेदन सीखता है। इसके लिए यह बहुस्तरीय समयगत गतिशीलता और सेवाओं के बीच निर्भरता संरचना को ध्यान में रखते हुए सीखने योग्य सामान्यीकरण लागू करता है। दो वास्तविक डेटासेट पर यह पाइपलाइन आधुनिक आधारभूत विधियों की तुलना में विसंगति पहचान, विफलताओं की रैंकिंग और मूल कारणों की खोज की गुणवत्ता में लगातार सुधार करती है।
10 नवम्बर 2026