Mengapa Layar Menipu
Bayangkan seorang agen bekerja dengan aplikasi desktop. Ia melihat jendela dengan beberapa kolom dan tombol "Simpan". Dari sudut pandang tangkapan layar, ini adalah layar yang sama, tetapi sebenarnya formulir tersebut mungkin kosong, terisi sebagian, atau sudah dikirim — dan hanya logika tersembunyi dari sistem operasi yang tahu skenario mana yang sedang berjalan saat ini. Situasi seperti ini disebut observabilitas parsial: agen hanya memiliki akses ke manifestasi eksternal, bukan keadaan sistem yang sebenarnya.
Bahayanya adalah bahwa tindakan yang tampak masuk akal secara lokal — misalnya, klik pada tombol — dalam satu kasus akan menyelesaikan skenario, dalam kasus lain memicu kesalahan validasi, dan dalam kasus ketiga hanya diabaikan. Layar yang serupa secara visual dapat berasal dari cabang alur kerja yang berbeda, dan ini mengarah pada hasil yang sangat berbeda. Oleh karena itu, perilaku yang efektif membutuhkan tidak hanya pengenalan objek antarmuka, tetapi juga eksplorasi aktif: perlu ditentukan keadaan mana yang benar-benar dapat dicapai, dan menghilangkan ambiguitas sebelum mengambil keputusan.
Tepat untuk tugas inilah karya «ScreenSearch: Uncertainty-Aware OS Exploration» (arXiv:2605.16024) dipersembahkan, yang penulisnya adalah Michael Solodko dan Justin Weigle. Mereka merumuskan masalah sebagai eksplorasi keadaan komputer: agen harus menyeimbangkan antara memperluas front yang dapat dicapai dan mengurangi ketidakpastian.
Pendekatan: Grafik Keadaan dan Bandit
Alih-alih mengandalkan tangkapan layar tunggal, sistem yang diusulkan ScreenSearch membangun grafik umum dari keadaan yang dideduplikasi. Untuk ini, ia menggunakan pencarian struktural: pohon UIA diubah menjadi fitur dengan mempertimbangkan tata letak elemen, dan layar terkait diindeks melalui pencarian token jarang dan filter metadata. Grafik keadaan dipertahankan di beberapa mesin virtual, yang memungkinkan eksplorasi diskalakan.
Strategi untuk memilih tindakan berikutnya ditentukan oleh bandit grafik PUCT, yang memperhitungkan ambiguitas keadaan. Ini berarti agen memberikan preferensi tidak hanya pada transisi yang menjanjikan dalam hal kebaruan, tetapi juga pada transisi yang mengurangi ketidakpastian. Pada dasarnya, sistem secara bersamaan mengeksplorasi ruang keadaan dan menyempurnakan pengetahuannya tentang ruang tersebut.
Cara Mengukur Ambiguitas
Kontribusi kunci dari karya ini adalah sinyal ambiguitas yang dapat diskalakan. Ini didasarkan pada pengamatan sederhana: jika layar yang serupa secara visual dengan tanda tangan tindakan yang sama mengarah ke keadaan berikutnya yang berbeda, maka keadaan saat ini belum cukup dipelajari. Varians hasil menjadi indikator bahwa agen belum memahami bagaimana bagian alur kerja ini bekerja.
Sinyal ini digabungkan dengan penghargaan untuk memperluas front eksplorasi. Hasilnya, muncul kemungkinan untuk mengevaluasi kebijakan pada grafik umum melalui replay-start: kebijakan dijalankan dari serangkaian keadaan awal yang tetap dan dilihat bagaimana ia menangani tugas. Penting bahwa beberapa kebijakan dapat dengan cepat mengurangi ambiguitas, tetapi hampir tidak membuka keadaan baru, sementara yang lain mengeksplorasi secara aktif, tetapi tidak punya waktu untuk "menuntaskan" situasi yang tidak jelas. Oleh karena itu, penulis menekankan: sekadar mengurangi ambiguitas bukanlah tujuan yang memadai.
Eksperimen: Keberagaman dan Kompromi
Untuk menguji pendekatan ini, 11 aplikasi desktop digunakan. Selama eksperimen, lebih dari satu juta tangkapan layar dan lebih dari 30 ribu keadaan unik dikumpulkan. Korpora yang dihasilkan menunjukkan keberagaman yang signifikan baik antar aplikasi maupun di dalam masing-masing aplikasi — ini memungkinkan pengujian agen dalam kondisi realistis.
Pada potongan replay-start yang tetap, kompromi antara kebaruan dan ambiguitas terlihat jelas. Beberapa strategi hampir segera mengurangi tingkat ketidakpastian, tetapi jarang menemukan keadaan baru. Yang lain, sebaliknya, dengan cepat memperluas batas yang diketahui, tetapi meninggalkan banyak "zona abu-abu". Penulis menyimpulkan bahwa tujuan eksplorasi harus komprehensif.
Ablasi tambahan menunjukkan efek yang menarik: memperkuat proposal (proposal priors) secara nyata meningkatkan penemuan keadaan unik saat membangun korpus. Dengan kata lain, kelengkapan grafik keadaan yang dikumpulkan secara langsung bergantung pada seberapa baik opsi tindakan yang diusulkan kepada agen.
Kesimpulan
Penelitian ScreenSearch menegaskan bahwa untuk kerja agen yang andal dalam sistem operasi, mengenali elemen antarmuka saja tidak cukup. Yang lebih penting adalah memahami identitas keadaan, menghasilkan proposal tindakan yang berkualitas, dan mampu mencari dengan mempertimbangkan ambiguitas. Tepatnya ketiga faktor inilah yang menentukan kapan harus melanjutkan eksplorasi, dan kapan hasil dapat difinalisasi.
Penulis mempresentasikan makalah setebal 22 halaman dengan 8 gambar dan 21 tabel, yang menjelaskan secara rinci baik metode itu sendiri maupun eksperimennya. Ini adalah fondasi yang baik untuk pekerjaan lebih lanjut di bidang agen GUI yang andal.
