Diagnostik bertahap agen GUI dalam analisis dasbor: benchmark DashAct
DashAct diperkenalkan sebagai tolok ukur yang terdiri atas 348 trajektori yang diverifikasi manusia, yang menguraikan kerja agen GUI dengan panel interaktif menjadi tiga tahap dan empat kondisi visual. Hasilnya menunjukkan masalah yang terus berulang dalam memprediksi tindakan dan mengaitkannya dengan target visual, serta ketergantungan respons agen pada dukungan kontekstual dan spasial.

Apa yang diuji DashAct
DashAct adalah benchmark untuk mengevaluasi agen GUI dalam analisis dasbor interaktif. Benchmark ini menguji interaksi beranotasi yang sama dengan dukungan kontekstual dan spasial yang diubah secara sistematis. Versi v2 bertanggal 19 Oktober 2026; versi pertama bertanggal 26 September 2026.

Kesimpulan: DashAct membandingkan agen GUI pada interaksi beranotasi yang sama. Kriteria praktis: pilih benchmark untuk mendiagnosis kegagalan, bukan hanya untuk metrik akhir.
Tiga tahap diagnosis
Benchmark ini membagi diagnosis menjadi tiga tahap. Tahap-tahap tersebut bergerak dari penyelesaian penuh ke pemeriksaan yang terisolasi. Empat kondisi visual mengubah kondisi untuk interaksi yang sama.
| Tahap | Yang dievaluasi | Peran dalam diagnosis |
|---|---|---|
| end-to-end execution | Penyelesaian penuh interaksi dengan dasbor | Menunjukkan kegagalan selama eksekusi online |
| verified-context action prediction | Prediksi tindakan dengan konteks yang telah diverifikasi | Memisahkan kesalahan prediksi tindakan |
| target-conditioned grounding | Grounding visual target berdasarkan kondisi | Memeriksa akurasi lokalisasi target |
Anotasi tindakan dan lokasi spasial yang selaras menghubungkan hasil dari berbagai tahap. Anotasi ini membantu menginterpretasikan kegagalan selama eksekusi online.
Kesimpulan: tahap-tahap ini tidak saling menduplikasi. Kriteria praktis: mulai dengan end-to-end execution untuk menyelidiki kegagalan umum, lalu lanjutkan ke prediksi tindakan dan grounding untuk menemukan sumber kesalahan.
Struktur trajektori dan anotasi
Kumpulan data ini berisi 348 trajektori interaksi yang diverifikasi oleh manusia. Trajektori tersebut mencakup dependensi antartahap (milestone dependencies). Anotasi target hierarkis (hierarchical target annotations) menetapkan struktur tugas. Anotasi tindakan dan lokasi spasial yang selaras terikat pada interaksi yang sama.
Anotasi ini memungkinkan hasil dari berbagai tahap untuk dibandingkan. Jika agen gagal pada end-to-end execution, anotasi menunjukkan langkah dan target yang menyebabkan kegagalan. Hal ini membuat diagnosis dapat direproduksi.
Kesimpulan: nilai DashAct terletak pada keterkaitan anotasinya. Kriteria praktis: periksa apakah anotasi tindakan dan lokasi spasial cocok sebelum menyimpulkan adanya kesalahan agen.
Kondisi visual dan respons model
DashAct mengevaluasi interaksi yang sama dalam empat kondisi visual. Respons terhadap dukungan kontekstual dan spasial bergantung pada model. Agen yang sama dapat bekerja secara berbeda saat dukungannya berubah. Perbandingan hanya berdasarkan satu kondisi tidak menunjukkan ketahanan.
Kesimpulan: diagnosis perlu mencakup keempat kondisi visual. Kriteria praktis: catat perubahan hasil dengan dukungan kontekstual dan spasial, bukan hanya akurasi akhir.
Hasil eksperimen dan adaptasi Qwen
Eksperimen mengungkap kesulitan yang masih berlanjut dalam prediksi tindakan dan grounding visual target yang akurat. Studi adaptasi berbasis Qwen juga meningkatkan lokalisasi target dan online Milestone Coverage. Peningkatan tersebut mencakup lokalisasi target dan online Milestone Coverage. Hasil ini berkaitan dengan tahap diagnosis yang berbeda.
Kesimpulan: adaptasi berbasis Qwen bermanfaat untuk lokalisasi target dan online Milestone Coverage. Kriteria praktis: periksa online Milestone Coverage secara terpisah dari lokalisasi target untuk melihat efek adaptasi.
Cara mengintegrasikan DashAct ke dalam diagnosis bertahap
Diagnosis bertahap dimulai dengan end-to-end execution. Berikutnya adalah verified-context action prediction. Tahap terakhir adalah target-conditioned grounding. Keempat kondisi visual mengulang interaksi yang sama dalam kondisi berbeda.
Urutannya penting: setiap tahap berikutnya mempersempit sumber kesalahan. Anotasi menghubungkan hasil dan menjaga konteks. Jika kegagalan berulang di berbagai tahap, penyebabnya kemungkinan besar ada pada agen, bukan pada kondisi tertentu.
Kesimpulan: DashAct menyediakan struktur untuk menguraikan kegagalan. Kriteria praktis: gunakan tiga tahap dan empat kondisi visual. Evaluasi hasil adaptasi Qwen berdasarkan lokalisasi target dan online Milestone Coverage.
Pertanyaan yang sering ditanyakan
Bahan terkait
Semua bahan
WILSON: menggabungkan tingkat pembesaran dan preparat pasien untuk analisis patomorfologi dan penyusunan laporan
Pracetak ini memperkenalkan WILSON — model vision-language yang mengodekan gambar seluruh slide dan rangkaian preparat dari satu pasien pada berbagai tingkat pembesaran, bukan hanya satu slide “terbaik”. Tanpa pelatihan lanjutan untuk tugas tertentu, model ini mengungguli model slide khusus dan berukuran lebih besar pada sejumlah metrik dengan beban komputasi yang jauh lebih rendah, sementara deskripsi diagnostiknya mendapat penilaian lebih tinggi dari para ahli patologi.
11 November 2026
Invarian polinomial kanonik dalam diagnostik kegagalan simulator RL: di mana sebenarnya berguna?
Studi ini menguji apakah menyertakan hukum fisika dalam model dinamika yang dapat dilatih memang sepadan: invarian yang diekstrak dari lintasan dan diubah ke bentuk kanonis melalui basis Gröbner hanya sedikit meningkatkan prediksi, tetapi sangat berguna untuk diagnosis—invarian ini dapat membantu menemukan kendala yang dilanggar dan mengidentifikasi parameter spesifik yang keliru.
10 November 2026
AURA-Eval: cara memeriksa apakah agen LLM mengenali risiko dan mengubah langkah berikutnya
Framework ini mengevaluasi perilaku agen LLM bukan berdasarkan keputusan akhir, melainkan respons terhadap risiko di titik-titik penting: rangkaian pemanggilan alat dihentikan, lalu model harus melanjutkan penalaran dan tindakan, sementara panel juri LLM menilai deteksi risiko, karakter, dan keamanan langkah tersebut. Dalam 1.249 tugas yang dikumpulkan dari 157 rangkaian R-Judge, 20 model lebih sering melakukan tindakan tidak aman saat jalur aman tidak tersedia, dan penghapusan pengawasan sebelum eksekusi mengubah 52,3% kasus yang semula aman menjadi tidak aman.
10 November 2026