সর্বদা নতুন ফ্রেমে ব্যয় হয়ে যাওয়া বাজেট
দীর্ঘজীবী GUI-এজেন্ট এমন এক প্রাণীর মতো, যার ছবি মনে রাখার স্মৃতি খারাপ। টেক্সটভিত্তিক অ্যাকশন-ইতিহাস সে প্রায় অসীমভাবে সঙ্গে বহন করতে পারে — সামারাইজেশনের ওজন কম। কিন্তু স্ক্রিনশট ব্যয়বহুল: মডেলের সক্রিয় উইন্ডোতে মাত্র কয়েকটি ছবি ধরে। এখান থেকেই সেই সমস্যা, যাকে লেখকেরা budgeted fidelity restoration বলেন। প্রতিটি ইভেন্ট সংকুচিত বর্ণনা আকারে থেকে যায়, কিন্তু একটি নির্দিষ্ট বাজেট B ঠিক করে, কোন কোন ইভেন্ট আবার তাদের আর্কাইভ করা পিক্সেল ফিরে পাবে।
বেসলাইন Recent-B এই প্রশ্নের উত্তর দেয় সবচেয়ে সরল উপায়ে: সব ভিজ্যুয়াল স্লট শেষ ইভেন্টগুলোকে দেওয়া হয়। "যত নতুন, তত উপযোগী" — এই যুক্তি স্বাভাবিক মনে হলেও এর একটি অন্ধবিন্দু আছে: সাম্প্রতিক স্ক্রিন বিশ ধাপ আগেরটার চেয়ে সত্যিই বেশি গুরুত্বপূর্ণ কি না, তা সে একেবারেই যাচাই করে না। কখনও ব্যবহারকারী অন্য উইন্ডোতে গেলেন, সেখানে কিছু সেট করলেন, ফিরে এলেন — আর পরের কাজের জন্য সবচেয়ে দরকারি জিনিসটা ইতিহাসে অনেক দূরে পড়ে রইল।
নির্বাচনের আরেকটি নীতি
CausalCache — arXiv:2608.22577 পেপারে বর্ণিত পদ্ধতি (Jiaxuan Luo, Zhanfeng Liao, Jiayao Teng, Yuan Wang; ২৩ আগস্ট ২০২৬-এর v1, ২৫ আগস্টের v2 আপডেট, নয় পৃষ্ঠা ও চারটি চিত্র)। "শেষটার জন্যই সব" — এই নিয়মের বদলে এটি পুরো ইতিহাস মূল্যায়ন করে এবং ঠিক তখনই কোনো পুরনো ইভেন্ট বসায়, যখন তার পূর্বানুমিত উপযোগিতা সাম্প্রতিক প্রার্থীর উপযোগিতাকে ছাড়িয়ে যায়। প্রশ্নটা তোলা হয় "এইমাত্র কী ঘটল" হিসেবে নয়, বরং "পরের ধাপে কী কাজে লাগবে" হিসেবে।
অ্যাডাপ্টার, যা নিজের জায়গা জানে
কাঠামোর দ্বিতীয় অর্ধেক — history-gated key/value অ্যাডাপ্টার। এটি কেবল পুনরুদ্ধার করা ঐতিহাসিক ছবির টোকেন স্পর্শ করে এবং কনটেক্সটে এমন কোনো ছবি না থাকলে সম্পূর্ণ বন্ধ হয়ে যায়। এটি গুরুত্বপূর্ণ একটি খুঁটিনাটি: সিস্টেম যে নীতিগতভাবে পুরনো ফ্রেম বের করতে পারে, তার কারণে বর্তমান স্ক্রিনের প্রক্রিয়াকরণ খারাপ হয় না।
সিলেক্টর ও অ্যাডাপ্টারকে প্রশিক্ষণ দেওয়া হয় হস্তক্ষেপসহ, সমন্বিত বাজেটে — matched-budget interventions — ডেস্কটপ ট্রাজেক্টরিতে, তারপর মোবাইলে zero-shot পরীক্ষা করা হয়, অর্থাৎ নতুন প্ল্যাটফর্মের জন্য কোনো ফাইন-টিউনিং ছাড়াই।
পরিমাপ যা দেখাল
ডেস্কটপ: লাভ আছে, তবে সঙ্গে সঙ্গে নয়
OSWorld-Verified-এ ঐতিহাসিক স্ক্রিনশট চালু করলে সফলতা প্রায় ১৩ শতাংশ পয়েন্ট বাড়ে, তুলনায় এমন স্মৃতির সঙ্গে যেখানে কেবল টেক্সটভিত্তিক সামারাইজেশন আছে। শুনতে চমকপ্রদ, কিন্তু এরপরই আসে সূক্ষ্ম দিকগুলো।
১৫ ধাপের সরকারি সীমায় CausalCache আর সরল Recent-4 পরিসংখ্যানগতভাবে আলাদা করা যায় না। অর্থাৎ ছোট এপিসোডে পুরো উদ্যোগটা লাভজনক নয়: সেখানে ইতিহাস সত্যিই মূল্যবান কিছু জমা করার সময় পায় না, আর নতুনত্ব-লোভী নির্বাচনও কম খারাপ কাজ করে না। কিন্তু ৩০ ধাপের ডায়াগনস্টিকে ফারাক দেখা যায় — ৪৬.৭% বনাম ৪২.৪%, বৃদ্ধি ৪.৩ পয়েন্ট।
মোবাইল: পুনঃপ্রশিক্ষণ ছাড়াই স্থানান্তর
MobileWorld-এর ১১৭টি কাজে zero-shot দেয় ৩৬.৮%, যেখানে Recent-4 পায় ৩০.২%। ডেস্কটপ ট্রাজেক্টরিতে প্রশিক্ষিত পদ্ধতি ফোনেও জেতে — এটাই সেই ফল, যা বলে দেয় ব্যাপারটা নির্দিষ্ট ইন্টারফেসের সঙ্গে খাপ খাওয়ানো নয়।
আরও মজার হলো, বৃদ্ধিটা ঠিক কোথায় জমা হয়। এটি কেন্দ্রীভূত পূর্বনির্ধারিত cross-app memory-candidate স্প্লিটে: ৩০.৬% বনাম ১৯.৪%, অর্থাৎ +১১.২ পয়েন্ট। single-app কন্ট্রোলে কোনো পার্থক্যই পাওয়া যায়নি — ৪৩.৬% বনাম ৪২.৪%। ছবিটা মিলে যায়: সুবিধা দেখা যায় সেখানে, যেখানে কাজটি এক অ্যাপের অবস্থা মনে রেখে অন্য অ্যাপে কাজ করতে দাবি করে।
এখান থেকে যা দাঁড়ায়
লেখকদের বক্তব্য শোনায় এভাবে: কোন অতীত ইভেন্টগুলোকে পিক্সেল ফিরিয়ে দেওয়া হবে তা বেছে নেওয়া, নির্দিষ্ট ভিজ্যুয়াল বাজেট পুরোটাই নতুনত্বে ব্যয় করার চেয়ে বেশি কার্যকর। বৃদ্ধি যে ঠিক অ্যাপ-পরিবর্তনের কাজগুলোতেই কেন্দ্রীভূত হয়েছে, তা জানার পর এ নিয়ে বিতর্ক করা কঠিন।
তবে সৎ ব্যাখ্যার জন্য দুটি শর্ত জরুরি। প্রথমত: ছোট পরিসরে কোনো পার্থক্য নেই, অর্থাৎ পদ্ধতিটা বিনামূল্যের উন্নতি নয়, বরং দীর্ঘ এপিসোডের উপর একটি বাজি, যেখানে জমে থাকা ইতিহাসের অর্থ আছে। দ্বিতীয়ত: single-app কন্ট্রোলে শূন্য পার্থক্য থেকে বোঝা যায়, উপযোগিতা-ভিত্তিক নির্বাচন সর্বজনীন নয় — এটি একটি নির্দিষ্ট শ্রেণির সমস্যার সমাধান করে, যেখানে এজেন্টকে বহু আগে চলে যাওয়া স্ক্রিন আবার কনটেক্সটে ফিরিয়ে আনতে হয়।
এজেন্ট বানানো যারা করেন, তাদের জন্য ব্যবহারিক সিদ্ধান্ত: নতুনত্ব সুবিধাজনক, কিন্তু একমাত্র মানদণ্ড নয়। ছবির বাজেট সংকীর্ণ হয়ে গেলেই জিজ্ঞেস করা উচিত, আপনি ঠিক কী ঢোকাচ্ছেন সেখানে — অভ্যাসবশত শেষ ফ্রেমগুলো, নাকি সেগুলো যা সত্যিই পরের ধাপে কাজে লাগবে।
