आधुनिक AI एजेंट लंबे कार्यों की श्रृंखलाएँ निष्पादित करने में सक्षम हैं: फ़ंक्शन कॉल करना, सेवाओं के प्रतिक्रियाओं को संसाधित करना, मध्यवर्ती निर्णय लेना। पर्यवेक्षक के लिए हर कदम पर नज़र रखना कठिन है, इसलिए सुरक्षा नियंत्रण के लिए आमतौर पर स्वचालित मॉनिटर का उपयोग किया जाता है। लेकिन क्या होगा यदि अलग-अलग कदम त्रुटिहीन दिखें, और पूरी श्रृंखला धीरे-धीरे उससे भटक जाए जो उपयोगकर्ता ने माँगा था?
स्थानीय जाँचें क्यों पर्याप्त नहीं हैं
दीर्घकालिक एजेंट हर कदम पर सही टूल को प्रशंसनीय तर्कों के साथ कॉल कर सकता है, और फिर भी अज्ञात रूप से भटक सकता है: मूल कार्य के बजाय वह एक व्यापक या संबंधित कार्य को हल करना शुरू कर देता है, ऐसे साक्ष्य "खींच" लेता है जो उपयोगकर्ता ने प्रदान नहीं किए थे। विचलनों के इस संचय को प्रक्षेपवक्र बहाव (trajectory drift) कहा जाता है। मौजूदा जाँच प्रणालियाँ आमतौर पर अलग-अलग क्रियाओं के स्थानीय अनुरूपता को देखती हैं, या पूरे प्रक्षेपवक्र पर एक समग्र निर्णय देती हैं, या कुल जोखिम का आकलन करती हैं। समस्या यह है कि वे मध्यवर्ती प्रीफ़िक्स का विश्लेषण नहीं करतीं — यह कि कार्य के निष्पादन के दौरान प्रक्षेपवक्र और कार्य के बीच का संबंध कैसे विकसित होता है।
arXiv पर हालिया कार्य (2608.17718) एक ऐसा दृष्टिकोण वर्णित करता है जो इस अंतर को बंद करने का प्रयास करता है। लेखक "ऑन्टोलॉजिकल ट्रस्ट" की अवधारणा प्रस्तावित करते हैं: यह पूरे पथ का गुण नहीं है, बल्कि प्रक्षेपवक्र के प्रत्येक प्रीफ़िक्स का है, और यह गुण मूल कार्य के सापेक्ष परिभाषित है।
ट्रस्ट के तीन घटक
विचलन को समय पर पहचानने के लिए, ट्रस्ट को उसके घटकों में विभाजित करना आवश्यक है। यही RGE मॉनिटर करता है — इसका नाम Role, Goal, Evidence से आया है। औपचारिक रूप से, प्रक्षेपवक्र प्रीफ़िक्स पर ट्रस्ट का मूल्यांकन तीन अक्षों पर किया जाता है:
- भूमिका — क्या एजेंट उन अधिकारों के दायरे में रहता है जो उपयोगकर्ता ने दिए हैं, या धीरे-धीरे खुद को एक व्यापक भूमिका "नियुक्त" कर लेता है।
- लक्ष्य — क्या वर्तमान दिशा अधिकृत लक्ष्य के अनुरूप है, या उसे समान लेकिन संबंधित लक्ष्य से बदल दिया गया है।
- साक्ष्य — क्या एजेंट उन डेटा पर निर्भर करता है जो वास्तव में अवलोकनों में मौजूद हैं, या अंतर्निहित मान्यताओं और अनचाही जानकारी पर।
यह तिहरा नियंत्रण उदाहरण के लिए, एक एजेंट के बीच अंतर करने की अनुमति देता है जिसने कार्य करना बंद कर दिया है, और एक एजेंट के बीच जो केवल कार्य करने का स्वीकार्य तरीका बदल रहा है।
जाँच कैसे काम करती है
एक महत्वपूर्ण विवरण: RGE एक "ब्लैक बॉक्स" नहीं है जो एक ही एंड-टू-एंड मॉडल से प्रक्षेपवक्र का मूल्यांकन करता है। भाषा मॉडल यहाँ केवल कार्य और अलग-अलग चरणों के संरचित प्रतिनिधित्व प्राप्त करने के लिए उपयोग किए जाते हैं। ट्रस्ट स्थिति का अद्यतन, तीन घटकों पर प्रक्षेपण और हस्तक्षेप का निर्णय — नियतात्मक हैं। इसके कारण, आउटपुट पर एक पुनरुत्पादनीय ट्रस्ट प्रक्षेपवक्र प्राप्त होता है: सटीक रूप से कहा जा सकता है कि किस क्षण और किस घटक के कारण संदेह उत्पन्न हुआ। यह एक महत्वपूर्ण इंजीनियरिंग निर्णय है, क्योंकि यह बड़े मॉडल की मनमानी पर निर्भरता को कम करता है और ऑडिट को सरल बनाता है।
यह कितना प्रभावी है
दृष्टिकोण की जाँच के लिए, लेखकों ने तीन अलग-अलग वातावरणों के आधार पर प्रक्षेपवक्रों का एक कॉर्पस एकत्र किया: OSWorld, FinanceBench और EICU-AC। कॉर्पस में सामान्य (सामान्य) निष्पादन, युग्मित प्रीफ़िक्स वाले बहाव के उदाहरण और तथाकथित "छद्म-संगत" विफलताएँ शामिल हैं — जब क्रियाएँ तार्किक दिखती हैं, लेकिन वास्तव में गलत होती हैं।
इस सामग्री पर RGE ने प्रीफ़िक्स में बहाव का पता लगाने के मामले में अनुकूलित नियम-आधारित बेसलाइन, जज-मॉडल और शील्ड्स को पीछे छोड़ दिया। दो बड़े मूल्यांकन मॉडलों के साथ यह प्रत्येक बेंचमार्क पर 93% से अधिक Drift F1 प्राप्त करता है, साथ ही सामान्य मामलों का कवरेज 95.8% से कम नहीं रखता है। दूसरे शब्दों में, यह वास्तविक बहाव को शायद ही कभी चूकता है और साथ ही सामान्य कार्य को झूठे अलार्म से नहीं दबाता।
हालाँकि, शोधकर्ताओं ने ईमानदारी से सीमा का भी वर्णन किया। "छद्म-संगत" विफलताएँ एक कठिन मामला बनी हुई हैं: उनका पता लगाना इस बात पर बहुत निर्भर करता है कि कार्य का परिणाम बाहरी रूप से दिखाई देता है या नहीं। यदि बाहरी दुनिया में सफलता या विफलता की स्पष्ट पुष्टि नहीं है, तो मॉनिटर हमेशा सावधानी से छिपाए गए विचलन को सामान्य अनिश्चितता से अलग नहीं कर सकता। यह कोई कमी नहीं है — यह किसी भी दृष्टिकोण की संरचनात्मक सीमा है जिसके पास दुनिया के पूर्ण शब्दार्थ तक पहुँच नहीं है।
निष्कर्ष
इस कार्य से मुख्य सबक — केवल अलग-अलग चरणों पर नहीं, बल्कि समग्र रूप से प्रक्षेपवक्र के आकार पर नज़र रखनी चाहिए। व्यावहारिक दृष्टिकोण ऐसा हो सकता है: प्रत्येक प्रीफ़िक्स के लिए स्वयं से प्रश्न पूछना, क्या एजेंट की भूमिका नहीं बदली, क्या लक्ष्य प्रतिस्थापित नहीं हुआ और क्या कोई "बाहरी" साक्ष्य नहीं हैं। ये तीन प्रश्न दीर्घकालिक एजेंटों पर अधिक पारदर्शी और सत्यापन योग्य निगरानी का आधार बनते हैं। और, संभवतः, भविष्य में "ऑन्टोलॉजिकल ट्रस्ट" AI एजेंटों के लिए उतनी ही सामान्य मीट्रिक बन जाएगी, जितनी आज सटीकता या विलंबता है।
