CEG-Agent: त्रुटि ग्राफ़ों के माध्यम से LLM एजेंटों के ट्रेस में विफलताओं का कारणात्मक विश्लेषण
यह कार्य CEG-Agent प्रस्तुत करता है—एजेंट ट्रेस के कारणात्मक निदान के लिए एक टूलिंग फ़्रेमवर्क। औपचारिक वर्गीकरण विसंगतियों, त्रुटियों और विफलताओं को अलग करता है, जबकि टाइपयुक्त CEG ग्राफ़ निष्पादन घटनाओं को निदान नोड्स और अंतिम विफलताओं से जोड़ते हैं; CEG-Bench बेंचमार्क अर्थगत और संरचनात्मक सटीकता के मामले में इस दृष्टिकोण की अग्रणी स्थिति की पुष्टि करता है।
एजेंट ट्रेस के निदान में कहाँ चूक होती है
जटिल अनुप्रयोगों में LLM-आधारित एजेंटों का उपयोग किया जाता है। ऐसे एजेंटों के ट्रेस लंबे होते हैं। इससे विफलताओं का निदान करना कठिन हो जाता है।
मौजूदा निदान विधियाँ विसंगतियों, त्रुटियों और विफलताओं को एक साथ मिला देती हैं। इस वजह से निदान के लक्ष्य अस्पष्ट हो जाते हैं।
ये विधियाँ कारणात्मक रूप से महत्वपूर्ण त्रुटियों के फैलने और बढ़ने की प्रक्रिया का संरचित मॉडल नहीं बनातीं। कार्य की अंतिम विफलताओं का विश्वसनीय कारण-निर्धारण नहीं हो पाता।
व्यावहारिक कसौटी: निदान विधि को विचलनों के प्रकारों में अंतर करना चाहिए और उनके बीच कारणात्मक संबंधों का पता लगाना चाहिए।
CEG-Agent क्या है
CEG-Agent एक टूल-आधारित एजेंट फ्रेमवर्क है। यह एजेंट ट्रेस का कारणात्मक निदान करता है।
यह फ्रेमवर्क विसंगतियों, त्रुटियों और विफलताओं का स्पष्ट वर्गीकरण प्रस्तुत करता है। इसके आधार पर यह Causal Error Graphs (CEGs) बनाता है।
| दृष्टिकोण | विसंगतियों, त्रुटियों और विफलताओं में अंतर | त्रुटि-प्रसार का मॉडल |
|---|---|---|
| मौजूदा निदान विधियाँ | इन अवधारणाओं को मिला देती हैं | संरचित मॉडल नहीं बनातीं |
| CEG-Agent | स्पष्ट वर्गीकरण प्रस्तुत करता है | कारणात्मक संबंधों वाले CEGs बनाता है |
चयन की कसौटी: फ्रेमवर्क को निदान के स्पष्ट लक्ष्य निर्धारित करने चाहिए और कारणों के टाइपयुक्त मॉडल पर आधारित होना चाहिए।
Causal Error Graphs: कारणों का टाइपयुक्त निरूपण
CEGs एकीकृत टाइपयुक्त निरूपण हैं। ये ट्रेस के तत्वों को कारणात्मक संबंधों से जोड़ते हैं।
ग्राफ़ में तीन प्रकार के तत्व होते हैं:
- निष्पादन घटनाएँ;
- निदान नोड;
- विफलताओं के रूप में परिणाम।
सभी तत्व एक ही प्रारूप में कारणात्मक संबंधों से जुड़े होते हैं। यही बात इस ग्राफ़ को बिखरे हुए संकेतों के समूह से अलग करती है।
कसौटी: निरूपण को निष्पादन के क्रम को स्पष्ट कारणात्मक संबंधों के ज़रिए अंतिम विफलता से जोड़ना चाहिए।
CEG-Bench और AAAP के ज़रिए एनोटेशन
ट्रेस के कारणात्मक निदान का मूल्यांकन करने के लिए CEG-Bench बनाया गया। यह पूरी तरह एजेंट-आधारित एनोटेशन वाला बेंचमार्क है।
बेंचमार्क में CEG एनोटेशन Adversarial Agentic Adjudication Protocol (AAAP) का उपयोग करके तैयार किए गए। ये एनोटेशन अत्यधिक विश्वसनीय और सुसंगत हैं।
एनोटेशन को विशेषज्ञों द्वारा तैयार किए गए मानव संदर्भ डेटासेट पर जाँचा गया। स्वचालित एनोटेशन विशेषज्ञों के एनोटेशन से काफ़ी मेल खाते दिखे।
कसौटी: मानव संदर्भ डेटासेट पर जाँचे गए एनोटेशन वाला बेंचमार्क, कारणात्मक निदान विधियों की तुलना के लिए उपयुक्त है।
परिणाम और चयन की कसौटी
CEG-Bench पर किए गए प्रयोगों में CEG-Agent अत्याधुनिक परिणाम देता है। मूल्यांकन दो कसौटियों पर किया गया।
पहली कसौटी अर्थगत रूप से शिथिल मूल्यांकन है। दूसरी कसौटी संरचनात्मक रूप से सटीक मूल्यांकन है। फ्रेमवर्क दोनों पर अत्याधुनिक परिणाम देता है।
चयन की कसौटी: यदि कार्य के लिए विश्लेषण की अर्थगत और संरचनात्मक, दोनों तरह की शुद्धता आवश्यक हो, तो इस स्तर का परिणाम देने वाली विधि को मानक माना जाना चाहिए।
अक्सर पूछे जाने वाले प्रश्न
समान सामग्री
सभी सामग्री
मेडिकल LLMs दिशानिर्देशों में संशोधन के बारे में जान लेते हैं, लेकिन अक्सर पुराने नियमों के अनुसार जवाब देते हैं
1709 नैदानिक दिशानिर्देशों में हुए बदलावों पर ChronoEvo के अध्ययन से पता चलता है: मुख्य मॉडल में 90,8% उत्तरों ने नए बदलाव को दर्ज किया, लेकिन केवल 58,5% ने उसे पूरी तरह लागू किया; 32,3 प्रतिशत अंकों का यह अंतर 14 मॉडलों में बना रहा। अपडेट को अधिक प्रमुखता देने से भी नए नियमों को नैदानिक दिशानिर्देश में पूरी तरह शामिल करने में कोई महत्वपूर्ण बढ़ोतरी नहीं हुई।
4 नवम्बर 2026
बंद-स्रोत LLMs पर एजेंटों के लिए विश्व मॉडल: जोखिम-बिंदुओं पर सुधार
PAWM प्रस्तावित किया गया है—एक बाहरी प्रेडिक्टर, जो चरण-दर-चरण अवलोकन को दोहराता नहीं, बल्कि संभावित विफलता के समय सक्रिय होकर एजेंट को गलत कार्रवाई से दूर ले जाता है। सिंथेटिक परिदृश्यों पर SFT और GRPO के साथ सह-प्रशिक्षण के बाद, इस विधि ने Claude Sonnet 4.5 के लिए ScienceWorld में 24,3% और WebArena-Lite में 7,7% का सुधार दिया।
4 नवम्बर 2026
SpeechLLM पर वर्गीकरण परत: भावनाओं की पहचान में यह लेबल जनरेशन को कहाँ दरकिनार करती है
IEMOCAP और MELD के डेटा पर, भावनात्मक लेबल के जनरेटिव आउटपुट की तुलना कॉम्पैक्ट SpeechLLM के छिपे हुए निरूपणों पर आधारित एक रैखिक वर्गीकारक से की गई। वर्गीकारक से गुणवत्ता में होने वाला सुधार सार्वभौमिक नहीं है: यह कॉर्पस पर और इस बात पर निर्भर करता है कि संदर्भ ट्रांसक्रिप्ट का उपयोग किया गया है या ASR के परिणामों का।
4 नवम्बर 2026