मेनू उपलब्ध कार्रवाइयों को सीमित करता है
टूल मेनू उपलब्ध कार्रवाइयों का एक छोटा, क्रमबद्ध उपसमुच्चय है, जो एजेंट को कार्य पूरा करने से पहले मिलता है। एजेंट केवल इसी मेनू में मौजूद टूल इस्तेमाल कर सकता है।
इसका मतलब है कि मेनू की संरचना और क्रम यह तय करते हैं कि एजेंट कार्य पूरा कर पाएगा या नहीं। व्यावहारिक मानदंड: केवल यह न जाँचें कि ज़रूरी कार्रवाई मौजूद है या नहीं, बल्कि यह भी देखें कि उसके लिए डेटा तैयार करने वाले टूल उपलब्ध हैं या नहीं।
प्रासंगिकता से कार्य पूरा होने की गारंटी क्यों नहीं मिलती
कई चरणों वाले कार्य के लिए अंतिम कार्रवाई और उससे पहले इस्तेमाल होने वाले टूल ज़रूरी हैं। उन्हें ज़रूरी इनपुट उचित क्रम में तैयार करने चाहिए।
अनुरोध के अनुसार प्रासंगिकता की रैंकिंग से अंतिम कार्रवाई तो मिल सकती है, लेकिन कम स्पष्ट डेटा-निर्माता टूल छूट सकते हैं या देर से आ सकते हैं। चयन का मानदंड: मेनू का मूल्यांकन इस आधार पर करें कि उससे पूरी कार्यान्वित की जा सकने वाली शृंखला बनती है या नहीं, न कि केवल इस आधार पर कि टूल अनुरोध से कितने मिलते-जुलते हैं।
| तरीका | इसमें किस बात का ध्यान रखा जाता है | जोखिम |
|---|---|---|
| प्रासंगिकता के अनुसार रैंकिंग | टूल का अनुरोध से संबंध | ज़रूरी डेटा तैयार करने वाले टूल अनुपस्थित हो सकते हैं या देर से आ सकते हैं |
| स्थिति-पथ के अनुसार चयन | संक्रमणों की कार्यान्वित करने की क्षमता और निर्भरताओं का क्रम | मेनू में स्थिति और इनपुट-आउटपुट के बीच संबंधों का ध्यान रखना होगा |
स्थिति-पथ के अनुसार मेनू कैसे बनता है
स्थिति-पथ अनुरोध की देखी गई स्थिति से वांछित परिणाम तक का मार्ग है। लेखकों द्वारा प्रस्तावित State-Path Tool Menu, इस मार्ग को कार्यान्वित करने की क्षमता के आधार पर मेनू तैयार करता है।
इस प्रक्रिया में कई चरण शामिल हैं:
- एनकोडर मौजूदा स्थिति से उपलब्ध टूल पर ध्यान देता है।
- यह टूल के आउटपुट को आगे की कार्रवाइयों के इनपुट से जोड़ता है।
- यह प्रशिक्षण पथों में बार-बार आने वाली कार्रवाइयों के क्रम पर ध्यान देता है।
- खोज शुरुआती कार्यान्वित किए जा सकने वाले टूल, अनुपलब्ध डेटा तैयार करने वाले टूल और अंतिम कार्रवाई का चयन करती है।
- पुनः-रैंकिंग में डेटा तैयार करने वाले टूल को डेटा इस्तेमाल करने वाले टूल से पहले रखा जाता है।
व्यावहारिक मानदंड: जाँचें कि चुने गए मेनू में शुरुआती कार्रवाई, ज़रूरी डेटा-निर्माता टूल और अंतिम कार्रवाई, कार्यान्वित किए जा सकने वाले क्रम में शामिल हैं।
ToolBench पर नतीजे क्या दिखाते हैं
लेखकों के अनुसार, ToolBench पर प्रस्तावित मेनू ने ऑनलाइन निष्पादन की सफलता 0.737 से बढ़ाकर 0.898 कर दी। एजेंट में बदलाव किए बिना इसने खोज, पुनः-रैंकिंग, जनरेशन और रूटिंग के आधारभूत तरीकों से भी बेहतर प्रदर्शन किया।
32 टूल वाले State-Path मेनू में 128 टूल वाली आधिकारिक सूची की तुलना में ज़्यादा पूर्ण शृंखलाएँ शामिल थीं। अलग-अलग क्षमता वाले मॉडलों से बने निष्पादक परिवारों के लिए भी सफलता में यह बढ़ोतरी बनी रही।
ये नतीजे ToolBench पर लेखकों के मूल्यांकन से संबंधित हैं। व्याख्या का मानदंड: तरीकों की तुलना ऑनलाइन निष्पादन की सफलता और पूर्ण शृंखलाओं के कवरेज के आधार पर करें; नतीजे का श्रेय केवल मेनू के आकार को न दें।
मेनू बनाने का तरीका कैसे चुनें
ऐसे कार्यों के लिए जिनमें कार्रवाइयों के बीच निर्भरताएँ होती हैं, केवल प्रासंगिक टूल खोजना काफ़ी नहीं है। मेनू में अनुपलब्ध इनपुट तैयार करने वाले टूल शामिल होने चाहिए और उन्हें उन इनपुट का इस्तेमाल करने वाली कार्रवाइयों से पहले रखा जाना चाहिए।
तरीकों की तुलना करते समय तीन गुण जाँचें:
- कार्यान्वित करने की क्षमता: क्या शुरुआती कार्रवाई मौजूदा स्थिति से उपलब्ध है?
- पूर्णता: क्या डेटा-निर्माता टूल और अंतिम कार्रवाई मौजूद हैं?
- क्रम: क्या डेटा तैयार करने वाले टूल, उनका इस्तेमाल करने वाले टूल से पहले आते हैं?
नतीजे का मूल्यांकन करने के लिए ऑनलाइन निष्पादन की सफलता और पूर्ण शृंखलाओं के कवरेज का इस्तेमाल करें। यह मानदंड न केवल यह बताता है कि टूल अनुरोध के लिए कितने उपयुक्त हैं, बल्कि यह भी कि एजेंट परिणाम तक पहुँचने का रास्ता पूरा कर सकता है या नहीं।
स्रोत
लेख «The Menu Is an Execution Prior: State-Path Tool Menus for Online Agents», arXiv:2609.09395। लेखकों ने बताया कि लेख को EMNLP 2026 Main में स्वीकार किया गया है; प्रस्तुत करने की घोषित तारीख 8 सितंबर 2026 है।
