स्क्रीन क्यों धोखा देती है
कल्पना कीजिए कि एक एजेंट डेस्कटॉप एप्लिकेशन के साथ काम कर रहा है। वह कई फ़ील्ड और "सेव करें" बटन वाली एक विंडो देखता है। स्क्रीनशॉट के दृष्टिकोण से यह एक ही स्क्रीन है, लेकिन वास्तव में फ़ॉर्म खाली, आंशिक रूप से भरा हुआ या पहले से ही सबमिट हो सकता है — और केवल ऑपरेटिंग सिस्टम की छिपी हुई लॉजिक ही जानती है कि इस समय कौन सा परिदृश्य चल रहा है। ऐसी स्थिति को आंशिक अवलोकनीयता कहा जाता है: एजेंट के पास केवल बाहरी अभिव्यक्तियाँ होती हैं, न कि सिस्टम की वास्तविक स्थिति।
खतरा यह है कि स्थानीय रूप से प्रशंसनीय क्रिया — जैसे बटन पर क्लिक — एक मामले में परिदृश्य को पूरा करेगी, दूसरे में वैलिडेशन त्रुटि उत्पन्न करेगी, और तीसरे में बस अनदेखा कर दी जाएगी। दिखने में समान स्क्रीन कार्यप्रवाह की विभिन्न शाखाओं से संबंधित हो सकती हैं, और यह काफी अलग परिणामों की ओर ले जाता है। इसलिए प्रभावी व्यवहार के लिए न केवल इंटरफ़ेस ऑब्जेक्ट की पहचान आवश्यक है, बल्कि सक्रिय अन्वेषण भी: यह निर्धारित करना आवश्यक है कि कौन सी स्थितियाँ सिद्धांत रूप में प्राप्त करने योग्य हैं, और निर्णय लेने से पहले अस्पष्टता को दूर करना चाहिए।
इसी कार्य के लिए "ScreenSearch: Uncertainty-Aware OS Exploration" (arXiv:2605.16024) नामक कार्य समर्पित है, जिसके लेखक माइकल सोलोडको और जस्टिन वेइगल हैं। वे समस्या को कंप्यूटर की स्थितियों के अन्वेषण के रूप में तैयार करते हैं: एजेंट को प्राप्त करने योग्य फ्रंट का विस्तार करने और अनिश्चितता को कम करने के बीच संतुलन बनाना चाहिए।
दृष्टिकोण: स्थिति ग्राफ़ और बैंडिट
एकल स्क्रीनशॉट पर निर्भर रहने के बजाय, प्रस्तावित प्रणाली ScreenSearch डीडुप्लिकेटेड स्थितियों का एक सामान्य ग्राफ़ बनाती है। इसके लिए यह संरचनात्मक खोज का उपयोग करती है: UIA-ट्री को तत्वों के स्थान को ध्यान में रखते हुए विशेषताओं में बदल दिया जाता है, और संबंधित स्क्रीन को स्पार्स टोकन खोज और मेटाडेटा फ़िल्टर के माध्यम से अनुक्रमित किया जाता है। स्थिति ग्राफ़ कई वर्चुअल मशीनों के बीच बनाए रखा जाता है, जिससे अन्वेषण को स्केल करना संभव होता है।
अगली क्रिया चुनने की रणनीति PUCT-ग्राफ़ बैंडिट द्वारा निर्धारित की जाती है, जो स्थितियों की अस्पष्टता को ध्यान में रखता है। इसका मतलब है कि एजेंट न केवल नवीनता की दृष्टि से आशाजनक संक्रमणों को प्राथमिकता देता है, बल्कि उन्हें भी जो अनिश्चितता को कम करते हैं। वास्तव में, सिस्टम एक साथ स्थिति स्थान का अन्वेषण करती है और उसके बारे में अपने ज्ञान को परिष्कृत करती है।
अस्पष्टता कैसे मापें
कार्य का मुख्य योगदान — स्केलेबल अस्पष्टता संकेत है। यह एक सरल अवलोकन पर आधारित है: यदि दिखने में समान स्क्रीन समान क्रिया हस्ताक्षर के साथ अलग-अलग अगली स्थितियों की ओर ले जाती हैं, तो वर्तमान स्थिति पर्याप्त रूप से अध्ययन नहीं की गई है। परिणामों का विचरण इस बात का संकेतक बन जाता है कि एजेंट अभी तक नहीं समझ पाया है कि कार्यप्रवाह का यह हिस्सा कैसे काम करता है।
यह संकेत अन्वेषण फ्रंट के विस्तार के लिए पुरस्कारों से जुड़ा होता है। परिणामस्वरूप, replay-start के माध्यम से सामान्य ग्राफ़ पर नीतियों का मूल्यांकन करना संभव हो जाता है: नीति को निश्चित प्रारंभिक स्थितियों के सेट से चलाया जाता है और देखा जाता है कि यह कार्यों से कैसे निपटती है। महत्वपूर्ण बात यह है कि कुछ नीतियाँ अस्पष्टता को जल्दी कम कर सकती हैं, लेकिन लगभग कोई नई स्थिति नहीं खोलती हैं, जबकि अन्य सक्रिय रूप से अन्वेषण करती हैं, लेकिन अस्पष्ट स्थितियों को "पूरी तरह से सुलझाने" में सक्षम नहीं होती हैं। इसलिए लेखक जोर देते हैं: अस्पष्टता का सरल कम होना पर्याप्त लक्ष्य नहीं है।
प्रयोग: विविधता और समझौते
दृष्टिकोण का परीक्षण करने के लिए 11 डेस्कटॉप एप्लिकेशन शामिल किए गए। प्रयोगों के दौरान दस लाख से अधिक स्क्रीनशॉट और 30 हज़ार से अधिक अद्वितीय स्थितियाँ एकत्र की गईं। प्राप्त कॉर्पस एप्लिकेशनों के बीच और प्रत्येक के भीतर महत्वपूर्ण विविधता से प्रतिष्ठित हैं — यह एजेंटों को यथार्थवादी परिस्थितियों में परीक्षण करने की अनुमति देता है।
निश्चित replay-start स्लाइस पर नवीनता और अस्पष्टता के बीच समझौता स्पष्ट रूप से दिखाई देता है। कुछ रणनीतियाँ लगभग तुरंत अनिश्चितता के स्तर को कम करती हैं, लेकिन शायद ही कभी नई स्थितियाँ खोजती हैं। अन्य, इसके विपरीत, ज्ञात की सीमाओं का तेज़ी से विस्तार करती हैं, लेकिन कई "ग्रे ज़ोन" छोड़ देती हैं। लेखक निष्कर्ष निकालते हैं कि अन्वेषण का लक्ष्य व्यापक होना चाहिए।
अतिरिक्त एब्लेशन ने एक दिलचस्प प्रभाव दिखाया: प्रस्ताव प्राथमिकताओं (proposal priors) को मजबूत करने से कॉर्पस निर्माण के दौरान अद्वितीय स्थितियों की खोज में उल्लेखनीय सुधार होता है। दूसरे शब्दों में, एजेंट को दिए जाने वाले क्रिया विकल्प कितने अच्छे हैं, इस पर सीधे तौर पर एकत्रित स्थिति ग्राफ़ की पूर्णता निर्भर करती है।
निष्कर्ष
ScreenSearch अनुसंधान पुष्टि करता है कि ऑपरेटिंग सिस्टम में एजेंट के विश्वसनीय काम के लिए इंटरफ़ेस तत्वों को अच्छी तरह से पहचानना पर्याप्त नहीं है। अधिक महत्वपूर्ण है स्थिति की पहचान को समझना, गुणवत्तापूर्ण क्रिया प्रस्ताव उत्पन्न करना और अस्पष्टता को ध्यान में रखते हुए खोज करने में सक्षम होना। ये तीन कारक निर्धारित करते हैं कि अन्वेषण कब जारी रखना चाहिए और कब परिणाम को अंतिम रूप देना चाहिए।
लेखकों ने 8 आकृतियों और 21 तालिकाओं के साथ 22-पृष्ठ का लेख प्रस्तुत किया, जिसमें विधि और प्रयोग दोनों का विस्तार से वर्णन किया गया है। यह विश्वसनीय GUI-एजेंटों के क्षेत्र में आगे के कार्यों के लिए एक अच्छा आधार है।
