डैशबोर्ड विश्लेषण में GUI एजेंटों का चरणबद्ध निदान: DashAct बेंचमार्क
DashAct प्रस्तुत है—348 मानव-सत्यापित ट्रैजेक्टरी वाला एक बेंचमार्क, जो इंटरैक्टिव डैशबोर्ड के साथ GUI एजेंटों के काम को तीन चरणों और चार दृश्य स्थितियों में विभाजित करता है। नतीजे बताते हैं कि एजेंटों को कार्रवाइयों का अनुमान लगाने और दृश्य लक्ष्यों से जुड़ने में लगातार समस्याएँ आती हैं, साथ ही उनकी प्रतिक्रियाएँ संदर्भ और स्थानिक समर्थन पर निर्भर करती हैं।

DashAct क्या जाँचता है
DashAct, डैशबोर्ड के इंटरैक्टिव विश्लेषण के दौरान GUI एजेंटों का मूल्यांकन करने वाला एक बेंचमार्क है। यह व्यवस्थित रूप से बदलते संदर्भगत और स्थानिक समर्थन के साथ समान लेबल किए गए इंटरैक्शन की जाँच करता है। संस्करण v2 की तारीख 19 अक्टूबर 2026 है; पहला संस्करण 26 सितंबर 2026 का है।

निष्कर्ष: DashAct, समान लेबल किए गए इंटरैक्शन पर GUI एजेंटों की तुलना करता है। व्यावहारिक मानदंड: बेंचमार्क का इस्तेमाल केवल अंतिम मेट्रिक के लिए नहीं, बल्कि विफलताओं का निदान करने के लिए चुनें।
निदान के तीन चरण
यह बेंचमार्क निदान को तीन चरणों में बाँटता है। ये पूर्ण निष्पादन से लेकर अलग-अलग जाँचों तक जाते हैं। चार दृश्य स्थितियाँ समान इंटरैक्शन के लिए परिस्थितियाँ बदलती हैं।
| चरण | यह क्या मापता है | निदान में भूमिका |
|---|---|---|
| एंड-टू-एंड निष्पादन | डैशबोर्ड इंटरैक्शन का पूरा निष्पादन | ऑनलाइन निष्पादन के दौरान होने वाली विफलताएँ दिखाता है |
| सत्यापित-संदर्भ क्रिया पूर्वानुमान | सत्यापित संदर्भ में क्रिया का पूर्वानुमान | क्रिया के पूर्वानुमान की त्रुटियों को अलग करता है |
| लक्ष्य-शर्तित ग्राउंडिंग | शर्त के आधार पर लक्ष्य का दृश्य औचित्य | लक्ष्य के स्थानीयकरण की सटीकता जाँचता है |
क्रिया और स्थानिक स्थिति के अनुरूप एनोटेशन, चरणों के परिणामों को आपस में जोड़ते हैं। वे ऑनलाइन निष्पादन के दौरान होने वाली विफलताओं की व्याख्या करने में मदद करते हैं।
निष्कर्ष: ये चरण एक-दूसरे की नकल नहीं हैं। व्यावहारिक मानदंड: समग्र विफलता के लिए एंड-टू-एंड निष्पादन से शुरुआत करें, फिर त्रुटि का स्रोत ढूँढ़ने के लिए क्रिया पूर्वानुमान और ग्राउंडिंग की ओर बढ़ें।
ट्रैजेक्टरी और एनोटेशन की संरचना
इस डेटासेट में इंसानों द्वारा सत्यापित 348 इंटरैक्शन ट्रैजेक्टरी हैं। ट्रैजेक्टरी में चरणों के बीच निर्भरताएँ (माइलस्टोन निर्भरताएँ) शामिल हैं। लक्ष्यों के पदानुक्रमित एनोटेशन (hierarchical target annotations) कार्यों की संरचना तय करते हैं। क्रिया और स्थानिक स्थिति के अनुरूप एनोटेशन उन्हीं इंटरैक्शन से जुड़े हैं।
यह लेबलिंग चरणों के परिणामों की तुलना करना संभव बनाती है। अगर कोई एजेंट एंड-टू-एंड निष्पादन में गलती करता है, तो एनोटेशन बताते हैं कि विफलता किस चरण पर और किस लक्ष्य से जुड़ी थी। इससे निदान को दोहराना संभव होता है।
निष्कर्ष: DashAct का मूल्य इसकी परस्पर जुड़ी लेबलिंग में है। व्यावहारिक मानदंड: एजेंट की गलती के बारे में निष्कर्ष निकालने से पहले जाँचें कि क्रिया और स्थानिक स्थिति के एनोटेशन मेल खाते हैं या नहीं।
दृश्य स्थितियाँ और मॉडल की प्रतिक्रिया
DashAct, चार दृश्य स्थितियों में समान इंटरैक्शन का मूल्यांकन करता है। संदर्भगत और स्थानिक समर्थन पर प्रतिक्रिया मॉडल पर निर्भर करती है। समर्थन बदलने पर एक ही एजेंट का प्रदर्शन अलग हो सकता है। सिर्फ़ एक स्थिति में तुलना करने से स्थिरता का पता नहीं चलता।
निष्कर्ष: निदान के लिए चारों दृश्य स्थितियों को देखना ज़रूरी है। व्यावहारिक मानदंड: केवल अंतिम सटीकता नहीं, बल्कि यह दर्ज करें कि संदर्भगत और स्थानिक समर्थन से परिणाम कैसे बदलता है।
प्रयोगों और Qwen के अनुकूलन से क्या पता चला
प्रयोगों से क्रिया पूर्वानुमान और लक्ष्यों के सटीक दृश्य औचित्य से जुड़ी लगातार बनी हुई कठिनाइयाँ सामने आईं। Qwen पर आधारित अनुकूलन के अध्ययन ने लक्ष्यों के स्थानीयकरण और online Milestone Coverage में अतिरिक्त सुधार किया। सुधार का असर लक्ष्यों के स्थानीयकरण और online Milestone Coverage पर पड़ा। ये परिणाम निदान के अलग-अलग चरणों से संबंधित हैं।
निष्कर्ष: Qwen पर आधारित अनुकूलन, लक्ष्यों के स्थानीयकरण और online Milestone Coverage के लिए उपयोगी है। व्यावहारिक मानदंड: अनुकूलन के प्रभाव को समझने के लिए online Milestone Coverage को लक्ष्यों के स्थानीयकरण से अलग जाँचें।
चरणबद्ध निदान में DashAct को कैसे शामिल करें
चरणबद्ध निदान की शुरुआत एंड-टू-एंड निष्पादन से होती है। इसके बाद सत्यापित-संदर्भ क्रिया पूर्वानुमान आता है। अंत में लक्ष्य-शर्तित ग्राउंडिंग होती है। चार दृश्य स्थितियाँ अलग-अलग परिस्थितियों में समान इंटरैक्शन को दोहराती हैं।
क्रम महत्वपूर्ण है: हर अगला चरण त्रुटि के संभावित स्रोत को सीमित करता है। एनोटेशन परिणामों को जोड़ते हैं और संदर्भ को खोने नहीं देते। अगर विफलता अलग-अलग चरणों में बार-बार होती है, तो उसका कारण किसी एक स्थिति के बजाय एजेंट में होने की संभावना अधिक है।
निष्कर्ष: DashAct विफलताओं का विश्लेषण करने के लिए एक संरचना देता है। व्यावहारिक मानदंड: तीनों चरणों और चारों दृश्य स्थितियों का इस्तेमाल करें। Qwen के अनुकूलन के परिणाम को लक्ष्यों के स्थानीयकरण और online Milestone Coverage के आधार पर जाँचें।
अक्सर पूछे जाने वाले प्रश्न
समान सामग्री
सभी सामग्री
Toollery: बिना फ़ाइन-ट्यूनिंग के, दसियों हज़ार विकल्पों में से LLM एजेंटों के लिए टूल चुनना
Toollery कौशलों और टूल्स के विवरणों पर एक खोज इंडेक्स बनाता है और अनुरोध आने पर मॉडल को केवल सीमित उम्मीदवारों का सेट भेजता है। दसियों हज़ार फ़ंक्शनों तक के आकार वाली लाइब्रेरी पर किए गए प्रयोगों में, यह तरीका निश्चित top-K पर चयन की गुणवत्ता बनाए रखने में सक्षम है, हालांकि अंतिम प्रभाव लोड प्रोफ़ाइल और प्रदाता की कैशिंग पर निर्भर करता है।
11 नवम्बर 2026
WILSON: पैथोमॉर्फोलॉजिकल विश्लेषण और निष्कर्ष तैयार करने के लिए रोगी के आवर्धनों और स्लाइडों का संयोजन
यह प्रीप्रिंट WILSON प्रस्तुत करता है—एक vision-language मॉडल, जो केवल एक अलग “सर्वश्रेष्ठ” स्लाइड के बजाय पूरे स्लाइडों और एक ही मरीज के अलग-अलग आवर्धन पर लिए गए नमूनों की छवियों को एन्कोड करता है। किसी विशिष्ट कार्य के लिए अतिरिक्त प्रशिक्षण के बिना, यह कई मेट्रिक्स पर विशेषीकृत और अधिक बड़े स्लाइड-मॉडलों से बेहतर प्रदर्शन करता है, वह भी काफ़ी कम कंप्यूटेशनल लागत पर; इसके नैदानिक विवरणों को पैथोलॉजिस्टों से अधिक ऊँची रेटिंग मिली।
11 नवम्बर 2026
RL सिम्युलेटरों की विफलताओं के निदान में कैनोनिकल बहुपद अपरिवर्तांक: वे वास्तव में कहाँ उपयोगी हैं
यह अध्ययन जाँचता है कि क्या सीखने योग्य गतिशीलता मॉडल में भौतिक नियमों को शामिल करना उचित है: प्रक्षेप पथों से निकाले गए और ग्रोबनर आधारों के माध्यम से विहित रूप में लाए गए अपरिवर्तक पूर्वानुमानों में मामूली सुधार देते हैं, लेकिन निदान में प्रभावी साबित होते हैं—वे उल्लंघित बाधा का स्थान निर्धारित करने और विशिष्ट गलत पैरामीटर की पहचान करने में सक्षम बनाते हैं।
10 नवम्बर 2026