Pengujian agen pemrograman dalam pengembangan XR interaktif: hasil GenXR-Bench

Apa yang sebenarnya diukur GenXR-Bench

GenXR-Bench mengevaluasi coding agent dalam pengembangan program XR. Pengujiannya menyeluruh: mulai dari perumusan tugas hingga perilaku aplikasi saat dijalankan. Para penulis menyoroti karakteristik utama bidang ini. Aplikasi XR beroperasi di lingkungan 3D fisik yang dinamis. Keandalan saat runtime bergantung pada tiga faktor sekaligus:

• pergerakan pengguna yang berkelanjutan;
• input spasial;
• persepsi sensorik terhadap lingkungan sekitar.

Faktor-faktor ini bekerja secara bersamaan. Karena itu, pemeriksaan kode statis saja tidak cukup. Kriteria praktis: agen untuk XR dievaluasi berdasarkan aplikasi yang dapat dijalankan, bukan berdasarkan diff.

Komposisi benchmark: 112 tugas ahli

Tugas-tugas untuk benchmark dibuat oleh para ahli. Kumpulan ini mencakup tiga jenis pekerjaan.

GenXR-Bench berisi 112 tugas. Pembuatan aplikasi mencakup bagian terbesar dari kumpulan ini. Implementasi fitur dan perbaikan bug menguji perubahan terarah pada kode yang sudah ada. Kriteria praktis: kumpulan ini cocok untuk mengevaluasi agen pada berbagai skala pekerjaan, bukan hanya dalam membuat aplikasi dari nol.

Pengujian tertunda: interaksi terprogram dan adaptif

Pengujian tertunda menggabungkan interaksi terprogram dan adaptif. Pengujian ini menggunakan assertion programatik dan visual. Pengujian tersebut mengevaluasi fungsionalitas dasar dan perilaku saat runtime. Pemeriksaan berfokus bukan pada kode yang ditulis, melainkan pada apa yang terjadi selama interaksi.

Para penulis juga memeriksa kualitas kumpulan pengujian secara terpisah. Kumpulan tersebut mencapai akurasi 96.5% jika dibandingkan dengan penilaian ahli secara blind terhadap 124 aplikasi kandidat. Aplikasi dijalankan pada perangkat XR konsumen. Kriteria praktis: pengujian tertunda memberikan sinyal yang dapat direproduksi ketika pemeriksaan manual di headset sulit diskalakan.

Hasil: 10 model dan batas atas 50.9%

Para penulis mengevaluasi 10 model. Konfigurasi terkuat hanya mencapai 50.9% overall Pass@1. Metrik ini menghitung tugas yang berhasil diselesaikan dalam percobaan pertama. Kesenjangan antara hasil terbaik dan keberhasilan menyelesaikan seluruh kumpulan masih terlihat jelas.

Perbandingan konfigurasi didasarkan pada satu metrik dan tugas yang sama. Kriteria praktis: 50.9% overall Pass@1 menjadi patokan atas ekspektasi terhadap kumpulan ini. Hasil tersebut tidak otomatis berlaku untuk domain lain.

Kesalahan umum: sensor, penambatan, interaksi

Analisis kesalahan menemukan masalah yang berulang:

• pemahaman tentang siklus hidup sensor asinkron;
• penambatan objek secara fisik;
• semantik interaksi yang diwujudkan.

Kesalahan berkaitan dengan perilaku saat runtime, bukan sintaks. Siklus hidup sensor asinkron menentukan kapan aplikasi menerima data. Penambatan fisik menghubungkan objek virtual dengan ruang nyata. Semantik interaksi yang diwujudkan menetapkan aturan respons terhadap tindakan pengguna.

Kriteria praktis: saat menerima kode XR, periksa ketiga aspek ini. Agen yang lolos tugas-tugas sederhana bisa gagal saat menangani peristiwa sensor dan penambatan ke ruang.

Cara menggunakan benchmark dalam memilih agen

Langkah-langkah menggunakan hasil benchmark:

• membandingkan konfigurasi berdasarkan overall Pass@1 pada kumpulan tugas yang sama;
• mencermati jenis tugas yang paling sesuai dengan proyek yang dikerjakan;
• memeriksa apakah pengujian tertunda dapat direproduksi pada perangkat XR yang tersedia;
• mempertimbangkan versi makalah: v1 diajukan pada 21 Okt 2026, v2 — 22 Okt 2026.

Kode tersedia melalui tautan di halaman makalah. Benchmark ini menggambarkan pengembangan program XR dan tidak menggantikan pengujian di domain lain. Kriteria praktis: hasil agen di GenXR-Bench berfungsi sebagai filter awal, sedangkan keputusan akhir dibuat berdasarkan aplikasi yang dijalankan pada perangkat keras sasaran.