Toollery: बिना फ़ाइन-ट्यूनिंग के, दसियों हज़ार विकल्पों में से LLM एजेंटों के लिए टूल चुनना

11 नवम्बर 20264 बार देखा गया

Toollery कौशलों और टूल्स के विवरणों पर एक खोज इंडेक्स बनाता है और अनुरोध आने पर मॉडल को केवल सीमित उम्मीदवारों का सेट भेजता है। दसियों हज़ार फ़ंक्शनों तक के आकार वाली लाइब्रेरी पर किए गए प्रयोगों में, यह तरीका निश्चित top-K पर चयन की गुणवत्ता बनाए रखने में सक्षम है, हालांकि अंतिम प्रभाव लोड प्रोफ़ाइल और प्रदाता की कैशिंग पर निर्भर करता है।

Toollery: बिना फ़ाइन-ट्यूनिंग के, दसियों हज़ार विकल्पों में से LLM एजेंटों के लिए टूल चुनना

बड़ी लाइब्रेरी से चुनाव करना मुश्किल क्यों हो जाता है

लाइब्रेरी में सैकड़ों से लेकर दसियों हज़ार तक स्किल, टूल और API फ़ंक्शन हो सकते हैं। पूरी लाइब्रेरी को prompt में देने से टोकन की संख्या और देरी बढ़ जाती है। उम्मीदवारों की लंबी सूचियाँ LLM के चुनाव को भटकाने वाले विकल्प जोड़ती हैं।

दो प्रभाव लागत बढ़ाते हैं:

  • टोकन की संख्या और देरी में वृद्धि।
  • उम्मीदवारों की लंबी सूची में भटकाने वाले विकल्प।

चयन का मानदंड: सैकड़ों से लेकर दसियों हज़ार प्रविष्टियों वाली लाइब्रेरी में जाँचें कि क्या सिस्टम LLM के अंतिम निर्णय से पहले उम्मीदवारों की संख्या कम करता है।

उम्मीदवारों की सूची को संक्षिप्त करने का तरीका

Toollery, स्किल और टूल चुनते समय उम्मीदवारों की सूची को संक्षिप्त करने वाला training-free framework है। इस विधि के लिए अतिरिक्त प्रशिक्षण की आवश्यकता नहीं होती। यह स्किल लाइब्रेरी और टूल रजिस्ट्री, दोनों के साथ काम करती है।

LLM के अंतिम निर्णय से पहले सूची संक्षिप्त की जाती है। विधि के चरण:

  1. सिस्टम हर स्किल या टूल का विनिर्देश लेता है।
  2. इसके आधार पर, यह उपयोगकर्ता के इरादों को दर्शाने वाली क्वेरी बनाता है।
  3. खोज इंडेक्स बनाता है।
  4. उपयोगकर्ता की वास्तविक क्वेरी मिलने पर, इंडेक्स उम्मीदवारों का एक छोटा top-K सेट तैयार करता है।
  5. LLM इस सेट के आधार पर अंतिम निर्णय लेता है।

सिस्टम उच्च-स्तरीय स्किल और एटॉमिक टूल को चुनने योग्य क्षमताओं के रूप में देखता है। लागू होने का मानदंड: स्किल और टूल के विनिर्देश उपलब्ध हों। सूची को संक्षिप्त करने के लिए अतिरिक्त प्रशिक्षण की आवश्यकता नहीं होती।

मूल्यांकन से क्या पता चला

Toollery का मूल्यांकन तीन सेट पर किया गया:

  • SkillRouter: 79K क्षमताएँ।
  • BFCL-V4: 440 से अधिक एटॉमिक टूल।
  • कार सिस्टम के लिए एक सेट: 3396 क्वेरी और 220 टूल; यह सेट एक कंपनी ने उपलब्ध कराया।

Toollery ऑनलाइन चुनाव को उम्मीदवारों के एक छोटे top-K सेट तक सीमित करता है। यह विधि विनिर्देशों पर आधारित सामान्य खोज की तुलना में recall बढ़ाती है।

निश्चित top-10 बजट पर Toollery, कार सिस्टम वाले सेट में एंड-टू-एंड चयन को बेहतर बनाता है। BFCL-V4 पर यह विधि तुलनीय AST Accuracy बनाए रखती है।

व्यावहारिक मानदंड: तय top-K पर recall और एंड-टू-एंड चयन का मूल्यांकन करें। BFCL-V4 पर top-10 के साथ AST Accuracy तुलनीय रहती है।

प्रभाव किन स्थितियों पर निर्भर करता है

Toollery के लेखक बताते हैं कि गुणवत्ता और लागत में सुधार, कार्यभार के कवरेज और प्रदाता की कैशिंग पर निर्भर करता है। सुधार इस बात पर निर्भर करता है कि लाइब्रेरी किन कार्यभारों को कवर करती है। प्रदाता की कैशिंग भी इन स्थितियों का हिस्सा है।

चयन का मानदंड: अपने कार्यभारों पर प्रभाव जाँचें और प्रदाता की कैशिंग को ध्यान में रखें।

दृष्टिकोण चुनने के मानदंड

तालिका में Toollery द्वारा जाँचे जाने वाले चयन मानदंड दिए गए हैं।

मानदंडव्यावहारिक प्रश्न
लाइब्रेरी का आकारक्या लाइब्रेरी में सैकड़ों से लेकर दसियों हज़ार तक स्किल, टूल या API फ़ंक्शन हैं?
LLM से पहले चयनक्या सिस्टम LLM के अंतिम निर्णय से पहले उम्मीदवारों का छोटा सेट तैयार करता है?
अतिरिक्त प्रशिक्षणक्या यह विधि अतिरिक्त प्रशिक्षण के बिना काम करती है?
Recallक्या चयन, विनिर्देशों पर आधारित सामान्य खोज की तुलना में recall बढ़ाता है?
top-K बजटक्या top-10 पर यह विधि कार सिस्टम वाले सेट में एंड-टू-एंड चयन को बेहतर बनाती है?
कार्यभार और कैशक्या कार्यभार का कवरेज और प्रदाता की कैशिंग ध्यान में रखी गई है?

चयन का मानदंड है—लाइब्रेरी का आकार, recall की आवश्यकताएँ और उम्मीदवारों के top-K बजट, इन सबका संयोजन। कार्यभार और कैश की स्थितियों की अलग से जाँच की जाती है।

अक्सर पूछे जाने वाले प्रश्न

समान सामग्री

सभी सामग्री
डैशबोर्ड विश्लेषण में GUI एजेंटों का चरणबद्ध निदान: DashAct बेंचमार्क
अनुसंधान

डैशबोर्ड विश्लेषण में GUI एजेंटों का चरणबद्ध निदान: DashAct बेंचमार्क

DashAct प्रस्तुत है—348 मानव-सत्यापित ट्रैजेक्टरी वाला एक बेंचमार्क, जो इंटरैक्टिव डैशबोर्ड के साथ GUI एजेंटों के काम को तीन चरणों और चार दृश्य स्थितियों में विभाजित करता है। नतीजे बताते हैं कि एजेंटों को कार्रवाइयों का अनुमान लगाने और दृश्य लक्ष्यों से जुड़ने में लगातार समस्याएँ आती हैं, साथ ही उनकी प्रतिक्रियाएँ संदर्भ और स्थानिक समर्थन पर निर्भर करती हैं।

11 नवम्बर 2026
WILSON: पैथोमॉर्फोलॉजिकल विश्लेषण और निष्कर्ष तैयार करने के लिए रोगी के आवर्धनों और स्लाइडों का संयोजन
समाचार

WILSON: पैथोमॉर्फोलॉजिकल विश्लेषण और निष्कर्ष तैयार करने के लिए रोगी के आवर्धनों और स्लाइडों का संयोजन

यह प्रीप्रिंट WILSON प्रस्तुत करता है—एक vision-language मॉडल, जो केवल एक अलग “सर्वश्रेष्ठ” स्लाइड के बजाय पूरे स्लाइडों और एक ही मरीज के अलग-अलग आवर्धन पर लिए गए नमूनों की छवियों को एन्कोड करता है। किसी विशिष्ट कार्य के लिए अतिरिक्त प्रशिक्षण के बिना, यह कई मेट्रिक्स पर विशेषीकृत और अधिक बड़े स्लाइड-मॉडलों से बेहतर प्रदर्शन करता है, वह भी काफ़ी कम कंप्यूटेशनल लागत पर; इसके नैदानिक विवरणों को पैथोलॉजिस्टों से अधिक ऊँची रेटिंग मिली।

11 नवम्बर 2026
RL सिम्युलेटरों की विफलताओं के निदान में कैनोनिकल बहुपद अपरिवर्तांक: वे वास्तव में कहाँ उपयोगी हैं
समाचार

RL सिम्युलेटरों की विफलताओं के निदान में कैनोनिकल बहुपद अपरिवर्तांक: वे वास्तव में कहाँ उपयोगी हैं

यह अध्ययन जाँचता है कि क्या सीखने योग्य गतिशीलता मॉडल में भौतिक नियमों को शामिल करना उचित है: प्रक्षेप पथों से निकाले गए और ग्रोबनर आधारों के माध्यम से विहित रूप में लाए गए अपरिवर्तक पूर्वानुमानों में मामूली सुधार देते हैं, लेकिन निदान में प्रभावी साबित होते हैं—वे उल्लंघित बाधा का स्थान निर्धारित करने और विशिष्ट गलत पैरामीटर की पहचान करने में सक्षम बनाते हैं।

10 नवम्बर 2026
Toollery: बिना फ़ाइन-ट्यूनिंग के, दसियों हज़ार विकल्पों में से LLM एजेंटों के लिए टूल चुनना