"द टूल टैक्स": क्यों एआई एजेंट अपशिष्ट टोकन
एक बड़ी भाषा मॉडल के लिए हर कॉल में केवल अनुरोध ही नहीं है, बल्कि यह भी पूरा संदर्भ है कि इसमें चला जाता है। जब एक एजेंट मॉडल कॉन्टेक्स्ट प्रोटोकॉल (एमसीपी) सर्वर से जुड़ा हुआ है, तो मॉडल को प्रत्येक चरण में उपलब्ध उपकरणों की पूरी सूची प्राप्त होती है: उनके नाम, विवरण, पैरामीटर और स्कीमा। यहां तक कि अगर एजेंट उनमें से अधिकांश का उपयोग नहीं करता है, तो उन्हें संसाधित करने के लिए टोकन पहले से ही खर्च किए जाते हैं - इससे पहले कि मॉडल भी कुछ भी कहने का फैसला करता है। ओक्टा में, इस प्रभाव को "उपकरण कर" कहा जाता है और यह उपकरण और उपयोगकर्ताओं की संख्या के साथ बढ़ता है।
समस्या सिर्फ पैसे के बारे में नहीं है। एजेंट सभी उपकरणों की परिभाषाओं को देखता है, जिसमें उन लोगों को शामिल नहीं किया गया है। इस तरह के एक उपकरण का उपयोग करने का प्रयास निष्पादन समय पर अवरुद्ध हो जाएगा, लेकिन संकेत में इसे संसाधित करने के लिए टोकन पहले से ही सेवन किए जाते हैं - उन्हें वापस नहीं किया जा सकता है। तो एक सुरक्षा और आर्थिक दृष्टिकोण दोनों से, आपको जानकारी मॉडल तक पहुंचने से पहले अतिरिक्त कटौती करने की आवश्यकता है।
कैसे ओक्टा लागत कटौती करने के लिए प्रस्ताव
ओक्टा का समाधान पहचान के आधार पर टूल सूची को प्रतिबंधित करने पर बनाया गया है। एजेंट को पूरे MCP सर्वर कैटलॉग देने के बजाय, एक प्रशासक ओक्टा डैशबोर्ड के माध्यम से निर्दिष्ट करता है जो उपकरण को एक विशिष्ट एजेंट या इसके पीछे उपयोगकर्ता के लिए अनुमति दी जाती है। ओक्टा केवल इस कम सेट को लौटाता है और यही वह है जो प्रत्येक चरण में मॉडल के प्रॉम्प्ट में जाता है। इसके अतिरिक्त, सिस्टम वास्तविक कॉल से ठीक पहले निष्पादन समय पर अनुमति की जांच करता है।
अनिवार्य रूप से, यह उपकरण स्तर पर कम से कम विशेषाधिकार के सिद्धांत को लागू कर रहा है। एजेंट को संसाधनों, डेटाबेस या कार्यों के बारे में नहीं पता होना चाहिए, जिसके लिए अनुमति नहीं है। और चूंकि एक उपकरण इसे तत्काल में नहीं बनाता है, इसलिए इसके स्कीमा पर कोई टोकन खर्च नहीं किया जाता है। पिछले दृष्टिकोण की तुलना में, जहां पहुंच केवल एक पूरे सर्वर तक ही सीमित हो सकती है, यह सर्वर के भीतर व्यक्तिगत उपकरणों के दायरे को संकीर्ण करता है। उदाहरण के लिए, Google वर्कस्पेस, स्लैक, या आंतरिक MCP सर्वर के लिए एकीकरण के साथ, एक एजेंट को केवल ईमेल तक पहुंच दिया जा सकता है लेकिन संदेश भेजने की अनुमति नहीं है।
क्या मॉडलिंग दिखाया गया है और कैसे दृष्टिकोण Differs गेटवे से
ओक्टा ने अभी तक वास्तविक तैनाती से डेटा जारी नहीं किया है - अनुमान आंतरिक मॉडलिंग पर आधारित हैं। कंपनी के अंदर, उन्होंने एंटरप्राइज़ टूल की एक सूची को इकट्ठा किया, उन्हें OAuth दायरे में मैप किया, और उपयोगकर्ताओं को विशिष्ट भूमिकाओं में विभाजित किया: सुपर एडमिन के लिए केवल पढ़ने वाले अधिकारों के साथ समर्थन विशेषज्ञों से। कुछ परिदृश्यों में, दृश्य उपकरण की संख्या 90% से अधिक कम हो गई थी, और उनके स्कीमा की लागत लगभग समान अनुपात से गिर गई थी। टोकन या डॉलर में निरपेक्ष मूल्यों का खुलासा नहीं किया जाता है, क्योंकि परिणाम सूची, अनुमति वितरण, औसत स्कीमा आकार, अनुरोध मात्रा और मूल्य निर्धारण पर निर्भर करता है। विशिष्ट मॉडल का।
पहचान आधारित scoping गेटवे लागत नियंत्रण से प्रतिष्ठित होना चाहिए। गेटवे कुंजी, टीम, या समूह द्वारा बजट को सीमित कर सकते हैं, और दर सीमित और रूटिंग प्रदान कर सकते हैं, लेकिन मॉडल ने पहले से ही एक महंगे निर्णय लिया है। पहचान आधारित अनुमतियां अग्रिम में उपलब्ध उपकरणों का बहुत सेट निर्धारित करती हैं , एजेंट और उपयोगकर्ता स्तर पर, एक समूह के बजाय एक पूरे के रूप में। यह न केवल टोकन बचाता है बल्कि एजेंट के दृष्टिकोण से भी हटा देता है, इसके पास एक्सेस नहीं होना चाहिए।
ऐसा लगता है कि ओक्टा सुरक्षित एजेंट वातावरण के लिए एक व्यापक रणनीति के हिस्से के रूप में इस तंत्र को देखता है। ग्राहकों के साथ पायलट परियोजनाओं के बाद यह अभ्यास में कितना प्रभावी होगा, लेकिन विचार स्वयं - इसके लिए भुगतान करने से पहले संकेत से अतिरिक्त को हटा दें - ब्लोटेड एआई एजेंट संदर्भों के खिलाफ लड़ाई में तार्किक कदम की तरह दिखता है।
