OpenCollab: एजेंटों का प्रोग्रामेबल समन्वय, नियंत्रित निष्पादन वातावरण और नियमावली अनुपालन का मेट्रिक

11 नवम्बर 20264 बार देखा गया

यह फ़्रेमवर्क एजेंटों के बीच संवाद की संरचना निर्धारित करने, प्रयोगों के लिए साझा परिवेश और घटनाओं की विस्तृत ट्रेसिंग को एक साथ जोड़ता है, जबकि नया पेश किया गया Adherence मेट्रिक यह दर्शाता है कि वास्तविक निष्पादन घोषित योजना से कितना मेल खाता है। बेंचमार्क में Duo कॉन्फ़िगरेशन नया SOTA हासिल करता है, जबकि एकल-एजेंट वाला विकल्प सबसे कम टोकन खर्च करता है।

OpenCollab: एजेंटों का प्रोग्रामेबल समन्वय, नियंत्रित निष्पादन वातावरण और नियमावली अनुपालन का मेट्रिक

फ्रेमवर्क का उद्देश्य

OpenCollab मल्टी-एजेंट विकास के लिए एक फ्रेमवर्क है। यह प्रोग्राम करने योग्य इंटरैक्शन और नियंत्रित रनटाइम वातावरण के लिए एकीकृत इंफ़्रास्ट्रक्चर प्रदान करता है।

मुख्य तत्व:

  • मल्टी-एजेंट विकास;
  • एजेंटों के बीच प्रोग्राम करने योग्य इंटरैक्शन;
  • नियंत्रित रनटाइम वातावरण।

व्यावहारिक अर्थ: यह फ्रेमवर्क तब उपयोगी है, जब एजेंटों के समन्वय को प्रोग्राम के ज़रिए निर्धारित करके नियंत्रित दायरे में निष्पादित करना हो।

एजेंट संगठन को डिज़ाइन की वस्तु के रूप में देखना

OpenCollab एजेंट संगठन के डिज़ाइन को निष्पादन के साथ जोड़ता है। संगठन कॉन्फ़िगरेशन का हिस्सा बन जाता है, न कि कोई बाहरी विवरण।

डिज़ाइन में शामिल बातें:

  • एजेंट संगठन की संरचना;
  • अंतःक्रिया की घोषित संरचना;
  • संरचना और निष्पादन के बीच संबंध।

मानदंड: संगठन का इस तरह वर्णन होना चाहिए कि उसे दोहराया जा सके। अन्यथा, डिज़ाइन केवल एक घोषणा बनकर रह जाता है।

नियंत्रित रनटाइम वातावरण और अवलोकनीयता

OpenCollab एक साझा रनटाइम वातावरण में प्रयोगात्मक नियंत्रण प्रदान करता है। यह वातावरण एजेंटों को एक ही दायरे में रखता है।

यह वातावरण क्या उपलब्ध कराता है:

  • तुलना की जा रही कॉन्फ़िगरेशन के लिए निष्पादन की साझा परिस्थितियाँ;
  • प्रयोगात्मक नियंत्रण;
  • विस्तृत इवेंट स्ट्रीम।

व्यावहारिक मानदंड: साझा वातावरण और इवेंट स्ट्रीम के बिना, कॉन्फ़िगरेशन की तुलना दोहराने योग्य नहीं रहती।

Adherence: अनुपालन का मेट्रिक

OpenCollab के लेखक Adherence नाम का मेट्रिक प्रस्तुत करते हैं। यह मापता है कि घोषित एजेंट संगठन को व्यवहार में किस हद तक लागू किया गया।

यह मेट्रिक क्या दर्ज करता है:

  • घोषित एजेंट संगठन;
  • वास्तविक निष्पादन;
  • दोनों के बीच का अंतर, प्रतिशत में।

प्रयोगों में, कॉन्फ़िगरेशन के किसी भी एक आयाम को बदलने से Adherence में बदलाव आया। यह मेट्रिक 47.2% से 97.2% तक रहा।

व्यावहारिक मानदंड: Adherence, घोषित संगठन और वास्तविक निष्पादन के बीच का अंतर दिखाता है। इस मेट्रिक का मूल्यांकन अंतिम परिणामों के साथ किया जाता है।

एजेंट विकास बेंचमार्क में परिणाम

एजेंट विकास बेंचमार्क में OpenCollab (Duo) ने नया SOTA दिखाया। लेखकों ने इसकी तुलना Mini-SWE-agent, OpenHands, Codex CLI और Claude Code से की।

लेखकों के परिणामों के अनुसार, अच्छी तरह डिज़ाइन किया गया एजेंट संगठन मौजूदा मज़बूत harnesses से बेहतर प्रदर्शन कर सकता है। OpenCollab के एकल-एजेंट कॉन्फ़िगरेशन ने मूल्यांकित सभी टेस्ट सूट में सबसे कम टोकन इस्तेमाल किए।

प्रतिभागीपरिणाम
OpenCollab (Duo)एजेंट विकास बेंचमार्क में नया SOTA
Mini-SWE-agentतुलना में शामिल
OpenHandsतुलना में शामिल
Codex CLIतुलना में शामिल
Claude Codeतुलना में शामिल
OpenCollab का एकल-एजेंट कॉन्फ़िगरेशनमूल्यांकित सभी टेस्ट सूट में सबसे कम टोकन

चयन मानदंड: केवल SOTA की शीर्ष पंक्ति की तुलना न करें, बल्कि संबंधित कॉन्फ़िगरेशन के टोकन उपयोग की भी तुलना करें।

चयन के व्यावहारिक मानदंड

चयन की शुरुआत यह जाँचने से करें कि क्या एजेंटों का समन्वय प्रोग्राम के ज़रिए निर्धारित किया जा सकता है। फिर जाँचें कि क्या फ्रेमवर्क घोषित संगठन के अनुपालन को मापता है। OpenCollab इसके लिए Adherence और एक साझा रनटाइम वातावरण देता है।

चयन-सूची:

  1. एजेंटों का प्रोग्राम करने योग्य समन्वय।
  2. Adherence मेट्रिक की उपलब्धता।
  3. साझा रनटाइम वातावरण और इवेंट स्ट्रीम।
  4. एजेंट विकास बेंचमार्क में तुलनीय परिणाम।
  5. चुने गए कॉन्फ़िगरेशन का टोकन उपयोग।

यह फ्रेमवर्क तभी उपयुक्त है, जब इन पाँचों बिंदुओं की जाँच की जा सके। यदि किसी बिंदु की जाँच नहीं हो सकती, तो चयन का आधार कमज़ोर पड़ जाता है।

अक्सर पूछे जाने वाले प्रश्न

समान सामग्री

सभी सामग्री
Toollery: बिना फ़ाइन-ट्यूनिंग के, दसियों हज़ार विकल्पों में से LLM एजेंटों के लिए टूल चुनना
समाचार

Toollery: बिना फ़ाइन-ट्यूनिंग के, दसियों हज़ार विकल्पों में से LLM एजेंटों के लिए टूल चुनना

Toollery कौशलों और टूल्स के विवरणों पर एक खोज इंडेक्स बनाता है और अनुरोध आने पर मॉडल को केवल सीमित उम्मीदवारों का सेट भेजता है। दसियों हज़ार फ़ंक्शनों तक के आकार वाली लाइब्रेरी पर किए गए प्रयोगों में, यह तरीका निश्चित top-K पर चयन की गुणवत्ता बनाए रखने में सक्षम है, हालांकि अंतिम प्रभाव लोड प्रोफ़ाइल और प्रदाता की कैशिंग पर निर्भर करता है।

11 नवम्बर 2026
डैशबोर्ड विश्लेषण में GUI एजेंटों का चरणबद्ध निदान: DashAct बेंचमार्क
अनुसंधान

डैशबोर्ड विश्लेषण में GUI एजेंटों का चरणबद्ध निदान: DashAct बेंचमार्क

DashAct प्रस्तुत है—348 मानव-सत्यापित ट्रैजेक्टरी वाला एक बेंचमार्क, जो इंटरैक्टिव डैशबोर्ड के साथ GUI एजेंटों के काम को तीन चरणों और चार दृश्य स्थितियों में विभाजित करता है। नतीजे बताते हैं कि एजेंटों को कार्रवाइयों का अनुमान लगाने और दृश्य लक्ष्यों से जुड़ने में लगातार समस्याएँ आती हैं, साथ ही उनकी प्रतिक्रियाएँ संदर्भ और स्थानिक समर्थन पर निर्भर करती हैं।

11 नवम्बर 2026
WILSON: पैथोमॉर्फोलॉजिकल विश्लेषण और निष्कर्ष तैयार करने के लिए रोगी के आवर्धनों और स्लाइडों का संयोजन
समाचार

WILSON: पैथोमॉर्फोलॉजिकल विश्लेषण और निष्कर्ष तैयार करने के लिए रोगी के आवर्धनों और स्लाइडों का संयोजन

यह प्रीप्रिंट WILSON प्रस्तुत करता है—एक vision-language मॉडल, जो केवल एक अलग “सर्वश्रेष्ठ” स्लाइड के बजाय पूरे स्लाइडों और एक ही मरीज के अलग-अलग आवर्धन पर लिए गए नमूनों की छवियों को एन्कोड करता है। किसी विशिष्ट कार्य के लिए अतिरिक्त प्रशिक्षण के बिना, यह कई मेट्रिक्स पर विशेषीकृत और अधिक बड़े स्लाइड-मॉडलों से बेहतर प्रदर्शन करता है, वह भी काफ़ी कम कंप्यूटेशनल लागत पर; इसके नैदानिक विवरणों को पैथोलॉजिस्टों से अधिक ऊँची रेटिंग मिली।

11 नवम्बर 2026
OpenCollab: एजेंटों का प्रोग्रामेबल समन्वय, नियंत्रित निष्पादन वातावरण और नियमावली अनुपालन का मेट्रिक