Dari demo sempurna ke situs web sungguhan
Asisten browser berbasis AI dengan percaya diri menangani skenario pendek dan bersih: menemukan produk, memesan, mengisi formulir. Tetapi begitu agen semacam itu berada di situs web sungguhan — dengan pemuatan lambat, pop-up tak terduga, tata letak yang berubah-ubah, dan puluhan klik perantara — situasinya berubah. Pada kenyataannya, AI harus mempertahankan tujuan sepanjang rangkaian tindakan yang panjang, menyadari kesalahannya sendiri dan memperbaikinya, serta menavigasi antarmuka yang padat.
Apa itu "skenario panjang" dalam praktiknya? Ini bukan satu klik dan bahkan bukan sepuluh: agen dapat melakukan 30–40 langkah atau lebih sebelum mencapai hasil yang diinginkan. Setiap langkah bergantung pada langkah sebelumnya, dan satu kesalahan dapat menggagalkan seluruh upaya. Selain itu, halaman web sungguhan terus berubah: tata letak "bergeser", elemen baru muncul, dan data dimuat secara asinkron. Model yang dilatih pada demonstrasi statis akan kebingungan dalam kondisi seperti ini.
Masalahnya adalah sebagian besar pendekatan yang ada dilatih pada demonstrasi yang disederhanakan dan tidak dirancang untuk tingkat kompleksitas seperti ini. Sekadar memperbesar model tidak membantu di sini: kesenjangan antara kondisi laboratorium dan web sungguhan menuntut peninjauan ulang seluruh pipeline — dari eksekusi tindakan hingga evaluasi akhir.
Kerangka kerja terpadu untuk cakrawala panjang
Tugas inilah yang diemban oleh tim AIMAE, yang mempersembahkan Wuying-Browser-Agent — kerangka kerja terbuka yang mencakup semua tingkat kerja agen browser. Alih-alih hanya berfokus pada satu bagian, para penulis menyelaraskan eksekusi, kontrol, optimasi, dan evaluasi.
Mari kita bahas setiap tingkat secara lebih rinci. Eksekusi adalah bagaimana agen berinteraksi dengan halaman: mengklik, mengetik teks, berpindah tab. Kontrol — memantau tindakan dan melakukan intervensi tepat waktu jika ada yang tidak beres. Optimasi — proses pembelajaran yang menyesuaikan model dengan lintasan yang berhasil. Dan terakhir, evaluasi — cara mengukur seberapa baik agen menangani tugas di web sungguhan. Semua tingkat ini harus bekerja secara selaras, jika tidak, sistem akan hancur pada jarak yang panjang.
Tiga komponen kunci memastikan sistem bekerja:
- Browser harness terstruktur — seperangkat primitif yang stabil untuk mengeksekusi tindakan. Ini memberi agen lingkungan yang dapat diprediksi dan membantu mengelola konteks, dengan fokus pada pengambilan keputusan. Alih-alih mengandalkan selektor yang tidak andal atau waktu yang acak, agen menerima perintah yang jelas yang dieksekusi secara seragam.
- RUIC-SFT — metode penyetelan terawasi pada lintasan pemulihan dari kesalahan dan interaksi dengan elemen antarmuka yang kompleks. Model belajar tidak hanya dari rantai yang berhasil, tetapi juga dari cara keluar dari jalan buntu.
- DAO-GRPO — algoritma optimasi yang meningkatkan distribusi "kredit" pada cakrawala panjang melalui pembentukan potensi imbalan dan pembobotan langkah berdasarkan divergensi. Setiap tindakan dievaluasi berdasarkan kontribusinya terhadap hasil keseluruhan, bukan secara terisolasi.
Pendekatan ini memungkinkan model tidak hanya melakukan langkah-langkah yang sempurna, tetapi juga merespons gangguan nyata dan memahami tindakan mana yang benar-benar membawanya menuju tujuan. Kerangka kerja ini sudah menunjukkan bahwa penyelarasan pipeline memberikan efek yang lebih besar daripada sekadar memperbesar ukuran model.
BrowserBench: uji panjang sebenarnya
Bagaimana cara memverifikasi bahwa agen benar-benar siap untuk web sungguhan? Tolok ukur yang ada sering kali terlalu pendek dan tidak mengungkap kegagalan khas pada jarak yang panjang. Tes tipikal mungkin terdiri dari 5–10 langkah, sedangkan dalam kehidupan nyata agen harus bekerja jauh lebih lama. Oleh karena itu, tim menciptakan tolok ukurnya sendiri — BrowserBench. Ini adalah kumpulan 350 tugas dwibahasa yang diambil dari situs web sungguhan, dengan panjang skenario rata-rata hampir 38 langkah.
Panjang seperti ini adalah perbedaan mendasar. Pada tugas pendek, agen dapat bertindak hampir secara acak dan tetap mendapatkan hasil tinggi. Pada tugas panjang, setiap kesalahan terakumulasi, dan tanpa distribusi "kredit" yang tepat, sistem dengan cepat keluar jalur. BrowserBench memungkinkan kita melihat kegagalan ini dan memahami mekanisme mana yang perlu ditingkatkan.
Hasilnya berbicara sendiri. Wuying-Browser-Agent dengan 27 miliar parameter mencapai 80,6% di WebVoyager, 66,7% di Online-Mind2Web, dan 65,1% di BrowserBench — ini adalah rekor terbuka baru pada tolok ukur penggunaan browser. Pipeline yang sama berhasil ditransfer ke domain lain: skor rata-rata 73,8 pada set Tau2-Bench, Claw-Eval, dan BFCL-v4.
Yang penting, keberhasilan dicapai bukan pada satu tugas tertentu, tetapi pada beberapa tes independen sekaligus. Ini berarti kerangka kerja menyerap prinsip-prinsip umum bekerja dengan antarmuka web, bukan menyesuaikan diri dengan tolok ukur tertentu. Generalisasi yang baik adalah tanda bahwa agen benar-benar memahami apa yang dilakukannya, bukan sekadar menghafal pola.
Apa artinya ini bagi pengembangan agen AI
Kesimpulan utamanya bukan pada angka-angka spesifik, meskipun angka-angka itu mengesankan. Yang lebih penting adalah pendekatannya: agar agen bekerja di dunia nyata, kita harus berhenti mengejar rekor individu pada demonstrasi yang bersih dan sebagai gantinya membangun seluruh sistem untuk skenario yang panjang dan rumit. Wuying-Browser-Agent menunjukkan bahwa ini dapat dicapai, dan dalam bentuk terbuka — para peneliti dapat mereproduksi hasilnya dan mengembangkannya lebih lanjut.
Pendekatan ini juga memiliki nilai praktis. Bayangkan Anda perlu membandingkan ketentuan di sepuluh situs web, memesan tiket, atau mengisi formulir yang panjang. Saat ini Anda harus melakukannya secara manual karena tidak ada asisten yang dapat mempertahankan konteks selama itu. Dengan kerangka kerja seperti Wuying-Browser-Agent, tugas-tugas semacam itu dapat diotomatisasi dalam waktu dekat.
Agen browser tidak lagi menjadi eksperimen laboratorium dan berubah menjadi alat praktis. Tinggal menunggu sistem seperti ini muncul di browser biasa dan mengambil alih rutinitas — dari belanja hingga mengisi dokumen. Dan, dilihat dari kerangka kerja ini, kita tidak perlu menunggu lama.
