CyberArena: pertandingan head-to-head antaragen AI mengungkap keterbatasan benchmark siber statis
Benchmark ini menempatkan dua agen dalam sandbox dengan layanan yang terus berubah, lalu merangkum tindakan mereka dalam serangkaian putaran menjadi skor multidimensi untuk kemampuan menyerang dan bertahan. Dalam 466 pertandingan dengan 12 model mutakhir, benchmark ini membedakan kemampuan yang tak terungkap dalam pengujian satu arah yang sudah mencapai batas atas, termasuk perencanaan beberapa langkah ke depan dan pembuatan backdoor.

Apa yang diuji oleh benchmark
CyberArena adalah benchmark kompetitif simetris yang dinamis. Benchmark ini menggunakan pertarungan multi-putaran dengan serangan dan pertahanan. Benchmark ini mengubah target statis menjadi tugas semi-terbuka yang terus berubah. Pengujian mencakup kecepatan dan ketepatan dalam mendeteksi, mengeksploitasi, dan memperbaiki kerentanan.
Elemen utama yang diuji:
- tugas semi-terbuka yang terus berubah, bukan target statis;
- pertarungan multi-putaran;
- serangan dan pertahanan secara bersamaan;
- pendeteksian kerentanan;
- eksploitasi kerentanan;
- perbaikan kerentanan.
Kesimpulan: benchmark ini mengevaluasi perilaku agen di lingkungan yang terus berubah. Untuk pengujian seperti ini, menyelesaikan tugas statis sekali saja tidaklah cukup.
Cara pertandingan berpasangan berlangsung
Di CyberArena, dua agen bersaing dalam sandbox terisolasi dengan aturan yang sama. Keduanya sekaligus berperan sebagai penyerang dan pembela. Aksi berlangsung pada layanan yang terus berubah.

Tahapan pertandingan:
- Agen menerima aturan yang sama dan sandbox terisolasi.
- Keduanya menyerang dan bertahan secara bersamaan.
- Layanan berubah selama pertarungan.
- Pertandingan berlangsung selama beberapa putaran.
- Pipeline menghasilkan, memeriksa, dan memvalidasi lingkungan baru.
Pipeline agen otomatis terus menghasilkan, memeriksa, dan memvalidasi lingkungan baru. Kesimpulan: pertandingan ini menguji pendeteksian, eksploitasi, dan perbaikan kerentanan saat target berubah.
Bagaimana pertandingan diubah menjadi skor
Untuk mengukur pertandingan kompetitif berpasangan, para penulis menyajikan model dinamis. Model ini mengubah jalannya pertandingan menjadi skor multidimensi yang terpadu untuk kemampuan ofensif, defensif, dan spesifik bidang. Di CyberArena, 12 agen LLM terdepan dievaluasi melalui 40 pengujian dalam 466 pertandingan. Para penulis melaporkan bahwa benchmark ini dapat membedakan kemampuan model ketika pengujian dasar agen tunggal mencapai batas atas.
| Kriteria | Pengujian dasar agen tunggal | Pertandingan berpasangan |
|---|---|---|
| Lingkungan | target statis | tugas semi-terbuka yang terus berubah |
| Pembedaan model | mencapai batas atas | membedakan kemampuan model |
Kesimpulan: profil multidimensi berguna untuk membandingkan model. Profil ini menunjukkan kemampuan ofensif, defensif, dan spesifik bidang. Kriteria praktis: perhatikan skor yang membedakan model, bukan hanya batas atas pada pengujian statis.
Batasan benchmark statis
Target statis membuat pengujian dasar agen tunggal mencapai batas atas. CyberArena menyelenggarakan pertandingan berpasangan di lingkungan yang terus berubah. Dalam pertandingan, terlihat kesalahan pertahanan dan strategi multi-putaran.
Hal yang ditunjukkan oleh pertandingan:
- pembela memperbaiki satu kerentanan, tetapi melewatkan kerentanan berikutnya;
- pembela mengonfirmasi perbaikan berdasarkan data yang sudah usang;
- agen yang mumpuni merencanakan satu langkah ke depan;
- agen yang mumpuni membuat backdoor untuk putaran berikutnya;
- seorang agen menulis penganalisis paket jaringan sendiri untuk memantau lawannya.
Kesimpulan: pengujian statis tidak mengungkap apakah perbaikan diterapkan pada kerentanan serupa, keusangan data, dan strategi multi-putaran. Kriteria praktis untuk memilih: benchmark harus dapat membedakan model ketika pengujian agen tunggal mencapai batas atas. Benchmark seperti ini mencakup lingkungan yang terus berubah, serangan dan pertahanan secara bersamaan, serta skor kemampuan multidimensi.
Pertanyaan yang sering ditanyakan
Bahan terkait
Semua bahan
FedSocket: Model yang dapat dipertukarkan dengan kemampuan eksekusi wajib di pihak penerima dalam heterogenitas multimodal
Diperkenalkan FedSocket—pendekatan yang mengharuskan model yang dipertukarkan dapat dijalankan di sisi penerima, sementara model-model privat yang heterogen dihubungkan oleh antarmuka prediksi bersama Q. Artikel ini menjelaskan agregasi berbasis keanggotaan, pengiriman hanya parameter Q beserta penghitung, serta eksperimen pada enam dataset yang menunjukkan peningkatan akurasi saat modalitas tidak tersedia dan keunggulan inferensi Joint dibandingkan ensemble independen.
13 November 2026
Ketahanan detektor terhadap teks buatan mesin yang diparafrasekan: temuan pengujian
Artikel ini merangkum hasil pengujian alat yang menulis ulang teks hasil generasi agar terdengar lebih alami. Setelah diproses, kemungkinan terdeteksi menurun secara signifikan, sementara positif palsu yang masih muncul membuat hasil detektor tidak dapat dianggap sebagai bukti.
13 November 2026
Kontrol baru selama proses sintesis: linimasa multitrack untuk gerakan manusia 3D
Metode yang diusulkan menerima instruksi teks baru bahkan saat sintesis berlangsung dan memungkinkan penentuan rentang aksi yang saling tumpang tindih secara independen. Koordinasi gerakan serentak pada berbagai bagian tubuh dijamin melalui pengondisian interval dan prosedur denoising yang mempertimbangkan bagian tubuh; pada TimelineMotion dan MTT, penulis melaporkan kesesuaian yang lebih baik terhadap semantik dan batasan waktu dibandingkan solusi streaming dasar.
12 November 2026