কেন স্ক্রিন প্রতারণা করে
কল্পনা করুন, একজন এজেন্ট একটি ডেস্কটপ অ্যাপ্লিকেশন নিয়ে কাজ করছে। সে বেশ কয়েকটি ফিল্ড এবং একটি «সংরক্ষণ» বোতাম সহ একটি উইন্ডো দেখে। স্ক্রিনশটের দৃষ্টিকোণ থেকে এটি একই স্ক্রিন, কিন্তু আসলে ফর্মটি খালি, আংশিকভাবে পূর্ণ বা ইতিমধ্যে জমা দেওয়া হতে পারে — এবং শুধুমাত্র অপারেটিং সিস্টেমের লুকানো লজিক জানে যে এই মুহূর্তে কোন পরিস্থিতি চলছে। এই ধরনের পরিস্থিতিকে বলা হয় আংশিক পর্যবেক্ষণযোগ্যতা: এজেন্টের কাছে কেবল বাহ্যিক প্রকাশই অ্যাক্সেসযোগ্য, প্রকৃত সিস্টেমের অবস্থা নয়।
বিপদটি এই যে, স্থানীয়ভাবে যুক্তিসঙ্গত একটি কাজ — যেমন বোতামে ক্লিক করা — এক ক্ষেত্রে পরিস্থিতি সম্পূর্ণ করবে, অন্য ক্ষেত্রে ভ্যালিডেশন ত্রুটি সৃষ্টি করবে, এবং তৃতীয় ক্ষেত্রে কেবল উপেক্ষা করা হবে। দৃশ্যত একই রকম স্ক্রিনগুলি ওয়ার্কফ্লোরের বিভিন্ন শাখার অন্তর্গত হতে পারে, এবং এটি উল্লেখযোগ্যভাবে ভিন্ন ফলাফলের দিকে নিয়ে যায়। তাই কার্যকর আচরণের জন্য শুধু ইন্টারফেসের অবজেক্ট চিনতে নয়, সক্রিয় অনুসন্ধানও প্রয়োজন: কোন অবস্থাগুলি আদৌ অর্জনযোগ্য তা নির্ধারণ করতে হবে এবং সিদ্ধান্ত নেওয়ার আগে অস্পষ্টতা দূর করতে হবে।
এই কাজটিই «ScreenSearch: Uncertainty-Aware OS Exploration» (arXiv:2605.16024) গবেষণাপত্রের বিষয়, যার লেখক মাইকেল সোলোডকো এবং জাস্টিন ওয়েইগল। তারা সমস্যাটিকে কম্পিউটারের অবস্থার অনুসন্ধান হিসেবে প্রণয়ন করেন: এজেন্টকে অর্জনযোগ্য ফ্রন্ট সম্প্রসারণ এবং অনিশ্চয়তা কমানোর মধ্যে ভারসাম্য রাখতে হবে।
পদ্ধতি: অবস্থার গ্রাফ এবং ব্যান্ডিট
একক স্ক্রিনশটের উপর নির্ভর করার পরিবর্তে, প্রস্তাবিত ScreenSearch সিস্টেম ডিডুপ্লিকেটেড অবস্থার একটি সাধারণ গ্রাফ তৈরি করে। এর জন্য এটি স্ট্রাকচারাল সার্চ ব্যবহার করে: UIA-ট্রিগুলিকে উপাদানগুলির অবস্থান বিবেচনায় রেখে ফিচারে রূপান্তরিত করা হয়, এবং সম্পর্কিত স্ক্রিনগুলিকে স্পার্স টোকেন সার্চ এবং মেটাডেটা ফিল্টারের মাধ্যমে ইনডেক্স করা হয়। অবস্থার গ্রাফটি একাধিক ভার্চুয়াল মেশিনের মধ্যে রক্ষণাবেক্ষণ করা হয়, যা অনুসন্ধানকে স্কেল করতে দেয়।
পরবর্তী কাজ নির্বাচনের কৌশলটি PUCT-গ্রাফ ব্যান্ডিট দ্বারা নির্ধারিত হয়, যা অবস্থার অস্পষ্টতা বিবেচনা করে। এর অর্থ হল, এজেন্ট শুধু নতুনত্বের দৃষ্টিকোণ থেকে সম্ভাবনাময় ট্রানজিশন নয়, বরং যেগুলি অনিশ্চয়তা হ্রাস করে সেগুলিকেও অগ্রাধিকার দেয়। মূলত, সিস্টেম একই সাথে অবস্থার স্থান অনুসন্ধান করে এবং সে সম্পর্কে তার জ্ঞান পরিমার্জন করে।
কীভাবে অস্পষ্টতা পরিমাপ করা যায়
কাজের মূল অবদান — একটি স্কেলযোগ্য অস্পষ্টতা সংকেত। এটি একটি সহজ পর্যবেক্ষণের উপর ভিত্তি করে: যদি দৃশ্যত একই রকম স্ক্রিন, একই অ্যাকশন সিগনেচারে, ভিন্ন পরবর্তী অবস্থার দিকে নিয়ে যায়, তাহলে বর্তমান অবস্থাটি যথেষ্ট অধ্যয়ন করা হয়নি। ফলাফলের বিচ্ছুরণ একটি সূচক হয়ে ওঠে যে এজেন্ট এখনও বুঝতে পারেনি ওয়ার্কফ্লোরের এই অংশটি কীভাবে কাজ করে।
এই সংকেতটি অনুসন্ধান ফ্রন্ট সম্প্রসারণের পুরস্কারের সাথে যুক্ত হয়। ফলস্বরূপ, replay-start-এর মাধ্যমে সাধারণ গ্রাফে নীতিগুলি মূল্যায়ন করার সম্ভাবনা তৈরি হয়: একটি নীতিকে নির্দিষ্ট সূচনা অবস্থার একটি সেট থেকে চালানো হয় এবং দেখা হয় এটি কাজগুলির সাথে কেমন মোকাবিলা করে। গুরুত্বপূর্ণভাবে, কিছু নীতি দ্রুত অস্পষ্টতা কমাতে পারে, কিন্তু প্রায় নতুন অবস্থা খুলতে পারে না, অন্যগুলি সক্রিয়ভাবে অনুসন্ধান করে, কিন্তু অস্পষ্ট পরিস্থিতিগুলি «চূড়ান্তভাবে সমাধান» করতে পারে না। তাই লেখকরা জোর দেন: অস্পষ্টতা কমানো নিজেই যথেষ্ট লক্ষ্য নয়।
পরীক্ষা: বৈচিত্র্য এবং আপস
পদ্ধতি যাচাইয়ের জন্য ১১টি ডেস্কটপ অ্যাপ্লিকেশন ব্যবহার করা হয়েছিল। পরীক্ষার সময় এক মিলিয়নেরও বেশি স্ক্রিনশট এবং ৩০ হাজারেরও বেশি অনন্য অবস্থা সংগ্রহ করা হয়েছে। প্রাপ্ত কর্পাসগুলি অ্যাপ্লিকেশনগুলির মধ্যে এবং প্রতিটির ভিতরেও উল্লেখযোগ্য বৈচিত্র্য দ্বারা আলাদা — এটি বাস্তবসম্মত পরিস্থিতিতে এজেন্টদের পরীক্ষা করতে দেয়।
নির্দিষ্ট replay-start স্লাইসে নতুনত্ব এবং অস্পষ্টতার মধ্যে আপস স্পষ্টভাবে দেখা যায়। কিছু কৌশল প্রায় সাথে সাথে অনিশ্চয়তার মাত্রা কমিয়ে দেয়, কিন্তু খুব কমই নতুন অবস্থা খুঁজে পায়। অন্যরা, বিপরীতে, দ্রুত পরিচিত সীমানা প্রসারিত করে, কিন্তু অনেক «ধূসর অঞ্চল» রেখে যায়। লেখকরা উপসংহারে পৌঁছান যে অনুসন্ধানের লক্ষ্য ব্যাপক হওয়া উচিত।
অতিরিক্ত অ্যাবলেশন একটি আকর্ষণীয় প্রভাব দেখিয়েছে: প্রস্তাবনার অগ্রাধিকার (proposal priors) শক্তিশালী করা কর্পাস নির্মাণের সময় অনন্য অবস্থা সনাক্তকরণকে উল্লেখযোগ্যভাবে উন্নত করে। অন্য কথায়, এজেন্টকে কতটা ভাল অ্যাকশন বিকল্প প্রস্তাব করা হয়, তার উপর সরাসরি সংগ্রহ করা অবস্থার গ্রাফের সম্পূর্ণতা নির্ভর করে।
সারসংক্ষেপ
ScreenSearch গবেষণা নিশ্চিত করে যে অপারেটিং সিস্টেমে এজেন্টের নির্ভরযোগ্য কাজের জন্য ইন্টারফেসের উপাদানগুলি ভালভাবে চিনতে পারা যথেষ্ট নয়। অবস্থার পরিচয় বোঝা, মানসম্পন্ন অ্যাকশন প্রস্তাব তৈরি করা এবং অস্পষ্টতা বিবেচনায় নিয়ে অনুসন্ধান করতে পারা বেশি গুরুত্বপূর্ণ। এই তিনটি কারণই নির্ধারণ করে কখন অনুসন্ধান চালিয়ে যাওয়া উচিত এবং কখন ফলাফল চূড়ান্ত করা যেতে পারে।
লেখকরা ৮টি চিত্র এবং ২১টি টেবিল সহ একটি ২২-পৃষ্ঠার নিবন্ধ উপস্থাপন করেছেন, যেখানে পদ্ধতি এবং পরীক্ষা উভয়ই বিস্তারিতভাবে বর্ণিত। এটি নির্ভরযোগ্য GUI-এজেন্টের ক্ষেত্রে ভবিষ্যতের কাজের জন্য একটি ভাল ভিত্তি।
