प्रॉम्प्ट पर निर्भर हुए बिना एजेंट नीतियों का सत्यापन: निष्पादन योग्य वातावरण, परीक्षण सूट और प्रशिक्षित किया जा सकने वाला फ़िल्टर

20 नवम्बर 20260 बार देखा गया

यह कार्य एक ऐसा फ्रेमवर्क प्रस्तुत करता है जो निष्पादन परिवेशों को एजेंट नीतियों की जाँच के लिए परिदृश्यों के सेट में बदलता है और सुरक्षा घटक को क्रमिक रूप से बेहतर बनाने की अनुमति देता है। प्रशिक्षित फ़िल्टर, केवल प्रॉम्प्ट निर्देशों पर निर्भर रहने की तुलना में, सफल उल्लंघनों के अनुपात को 40–44% तक कम करता है और सुरक्षित अनुरोधों को गलत तरीके से कम अस्वीकार करता है।

प्रॉम्प्ट पर निर्भर हुए बिना एजेंट नीतियों का सत्यापन: निष्पादन योग्य वातावरण, परीक्षण सूट और प्रशिक्षित किया जा सकने वाला फ़िल्टर

प्रॉम्प्ट की सीमा: निर्देश पर्याप्त क्यों नहीं हैं

एजेंटों की कस्टम डिप्लॉयमेंट में नीतियाँ टूल, संसाधनों और निष्पादन की शर्तों के नियम तय करती हैं। इन नियमों को प्रॉम्प्ट में शामिल करने से उल्लंघनों को विश्वसनीय ढंग से रोकने की गारंटी नहीं मिलती। प्रॉम्प्ट पाठ तय करता है, लेकिन वास्तविक कॉल की जाँच नहीं करता। उल्लंघन के सभी मामलों में किसी अनुमत टूल का उपयोग किया जाता है। इसलिए केवल टूल के नाम की नहीं, बल्कि आर्ग्युमेंट, संसाधनों और संदर्भ की जाँच करना ज़रूरी है।

सुरक्षा तंत्र को प्रशिक्षित करने के लिए ऐसे कॉल के उदाहरण चाहिए जो नीति का पालन करते हों और उसका उल्लंघन करते हों। ऐसे जोड़ों के बिना, जाँच प्रत्यक्ष रूप से देखे गए व्यवहार के बजाय नियमों के पाठ पर निर्भर करती है।

व्यावहारिक मानदंड: प्रॉम्प्ट को केवल नियमों का वाहक मानें। जाँच को कॉल और उनके परिणामों के डेटा पर आधारित करें।

निष्पादन योग्य परिवेश: वास्तविक कॉल के आधार पर जाँच

AgentPolicyForge नीतियों के बेंचमार्क टेस्ट बनाने और सुरक्षा तंत्रों को चरणबद्ध ढंग से प्रशिक्षित करने के लिए निष्पादन योग्य परिवेशों का उपयोग करता है। परिवेश टूल कॉल निष्पादित करता है और उनके परिणाम दर्ज करता है। परिणामों के आधार पर तय किया जाता है कि कॉल नीति के अनुरूप है या नहीं। यह प्रॉम्प्ट पढ़ने से अलग है: जाँच वास्तविक निष्पादन के आधार पर होती है।

जाँच के प्रमुख तत्व:

  • परिवेश में कॉल निष्पादित करना;
  • कॉल का परिणाम दर्ज करना;
  • आर्ग्युमेंट, संसाधनों और संदर्भ का नीति से मिलान करना;
  • उल्लंघन वाले उदाहरणों में अनुमत टूल का उपयोग करना।

निष्कर्ष: बेंचमार्क टेस्ट निष्पादन योग्य होना चाहिए। परिवेश चुनने का मानदंड यह है कि उसमें परिणाम सुरक्षित रहें और आर्ग्युमेंट, संसाधनों तथा संदर्भ की जाँच की जा सके।

PolicyGym: प्रशिक्षण परिदृश्य और अलग रखे गए टेस्ट

इस फ़्रेमवर्क के आधार पर PolicyGym बनाया गया है — दस नीति परिवारों का डेटासेट। इसमें प्रशिक्षण डेटा तैयार करने के लिए 698 परिदृश्य शामिल हैं। इसके अलावा, टेस्ट सेट के लिए 254 अलग रखे गए परिदृश्य हैं।

डेटासेट का भागउद्देश्यसंख्या
प्रशिक्षण डेटा तैयार करने के परिदृश्यप्रशिक्षण उदाहरण तैयार करना698
अलग रखे गए परिदृश्यटेस्ट सेट254

अलग रखे गए परिदृश्यों की जाँच लोगों ने की है। व्यावहारिक मानदंड: प्रशिक्षण और अलग रखे गए परिदृश्यों को अलग-अलग रखें। टेस्ट सेट को प्रशिक्षण डेटा तैयार करने की प्रक्रिया से अलग रखना चाहिए।

एजेंट के स्व-नियमन की तुलना में प्रशिक्षित फ़िल्टर

PolicyGym में दो तरीकों की तुलना की गई है: नीति के अनुसार एजेंट का स्व-नियमन और प्रशिक्षित सुरक्षा तंत्र। सुरक्षा तंत्र वाले अंतिम कॉन्फ़िगरेशन से सफल हमलों के अनुपात में 40–44% की सापेक्ष कमी आती है। केवल प्रॉम्प्ट में नीतियाँ लागू करने की तुलना में इसमें हानिरहित अनुरोधों पर गलत इनकार भी कम होते हैं।

कॉन्फ़िगरेशनकिसका उपयोग करता हैतथ्यों के आधार पर परिणाम
केवल प्रॉम्प्ट में नीतियाँनीतियों का पाठतुलना का आधार
सुरक्षा तंत्र वाला अंतिम कॉन्फ़िगरेशनप्रशिक्षित फ़िल्टरसफल हमलों में 40–44% की कमी; गलत इनकार कम

व्यावहारिक मानदंड: सुरक्षा तंत्र की तुलना प्रॉम्प्ट-आधारित आधार से करें। सफल हमलों और गलत इनकार, दोनों पर नज़र रखें।

चरणबद्ध चक्र: हमला, अतिरिक्त प्रशिक्षण, आर्काइव अपडेट

उदाहरण तैयार करने की प्रक्रिया सुरक्षा तंत्र के चरणबद्ध प्रशिक्षण को सक्षम बनाती है। हमलावर निकाली गई रणनीतियों का उपयोग करके अनुरोध तैयार करता है। सुरक्षा तंत्र को परिवेश में जाँचे गए संतुलित उदाहरणों पर अतिरिक्त प्रशिक्षण दिया जाता है। आर्काइव को स्थिर रखने पर भी प्रशिक्षण से नीतियों को लागू करने की प्रभावशीलता बढ़ती है।

आर्काइव अपडेट करने से अतिरिक्त लाभ मिलता है। आर्काइव को अपरिवर्तित रखने की तुलना में इससे डोमेन के भीतर हमले अधिक कम सफल होते हैं।

चक्र के चरण:

  1. हमले की रणनीतियाँ निकालें।
  2. हमलावरों के लिए अनुरोध तैयार करें।
  3. निष्पादन योग्य परिवेश में उदाहरणों की जाँच करें।
  4. उदाहरणों को संतुलित करें और सुरक्षा तंत्र को अतिरिक्त प्रशिक्षण दें।
  5. हमलों का आर्काइव अपडेट करें।

व्यावहारिक मानदंड: आर्काइव अपडेट करने और परिवेश में उदाहरणों की जाँच करने का चक्र शामिल करें। स्थिर आर्काइव से भी प्रशिक्षण का प्रभाव मिलता है। अपडेट करने से डोमेन के भीतर हमलों की सफलता में अतिरिक्त कमी आती है।

अक्सर पूछे जाने वाले प्रश्न

समान सामग्री

सभी सामग्री
PerMIT: LLM एजेंटों की दीर्घकालिक स्मृति की अखंडता और मशीन-सत्यापन के साथ सामूहिक विश्वास
समाचार

PerMIT: LLM एजेंटों की दीर्घकालिक स्मृति की अखंडता और मशीन-सत्यापन के साथ सामूहिक विश्वास

लेखक PerMIT आर्किटेक्चर प्रस्तुत करते हैं, जो एक सीमित मेमोरी इंटरफ़ेस के माध्यम से परिवेश से अविश्वसनीय डेटा को एजेंट की संवेदनशील कार्रवाइयों तक पहुँचने से रोकता है; Lean 4 में सत्यापित दो प्रमेय और समुदाय के निर्णयों का संचय, किसी एक उपयोगकर्ता पर भार बढ़ाए बिना, विषाक्तकरण के जोखिम को घटाते हैं। Trojan Hippo और τ²-bench पर किए गए प्रयोगों में, हल्के सत्यापनकर्ताओं के साथ इस योजना ने किसी भी सफल इंजेक्शन को दर्ज नहीं किया और विलंबित कार्यों पर नए एजेंटों के परिणाम बेहतर किए।

20 नवम्बर 2026
सिर और गर्दन के ट्यूमर के लिए प्रोटॉन उपचार-योजना हेतु साक्ष्य-आधारित चक्र वाली संयुक्त मल्टी-एजेंट एआई प्रणाली
समाचार

सिर और गर्दन के ट्यूमर के लिए प्रोटॉन उपचार-योजना हेतु साक्ष्य-आधारित चक्र वाली संयुक्त मल्टी-एजेंट एआई प्रणाली

यह कार्य प्रशिक्षित PPO नीति, जो योजना के कई विकल्प देती है, और LLM एजेंटों के संयोजन का वर्णन करता है, जो नैदानिक मेट्रिक्स और बाधाओं की जाँच के साथ संवाद के माध्यम से आवश्यकताओं को स्पष्ट करते हैं; 21 रोगियों के डेटा पर Qwen3-14B को फ़ाइन-ट्यून करने से उसने निर्देशों का बेहतर पालन किया और प्राथमिकता वाले लक्ष्यों के पक्ष में समझौते को मोड़ने में मदद की। व्यावहारिक निष्कर्ष यह है कि प्रतिस्पर्धी बाधाओं पर नियंत्रण बनाए रखते हुए स्वचालित DRL योजना को निर्देशित संवाद से पूरक किया जा सकता है।

20 नवम्बर 2026
अनुभवजन्य परीक्षण के बजाय कम्प्यूटेशनल चयन: बैटरी सामग्रियों के लिए नए दृष्टिकोण
अनुसंधान

अनुभवजन्य परीक्षण के बजाय कम्प्यूटेशनल चयन: बैटरी सामग्रियों के लिए नए दृष्टिकोण

यह सामग्री दिखाती है कि गणनात्मक डेटाबेस, मशीन लर्निंग और जनरेटिव मॉडल संभावित संरचनाओं के दायरे को सीमित करते हैं, जबकि स्वचालित प्रयोगशालाएँ उनकी जाँच तेज़ करती हैं; फिर भी अंतिम परिणाम संश्लेषण और परीक्षण पर निर्भर करता है, जहाँ पूर्वानुमान वास्तविक चालकता से अलग हो सकता है।

20 नवम्बर 2026
प्रॉम्प्ट पर निर्भर हुए बिना एजेंट नीतियों का सत्यापन: निष्पादन योग्य वातावरण, परीक्षण सूट और प्रशिक्षित किया जा सकने वाला फ़िल्टर