CyberArena: pertandingan head-to-head antaragen AI mengungkap keterbatasan benchmark siber statis

13 November 20263 tampilan

Benchmark ini menempatkan dua agen dalam sandbox dengan layanan yang terus berubah, lalu merangkum tindakan mereka dalam serangkaian putaran menjadi skor multidimensi untuk kemampuan menyerang dan bertahan. Dalam 466 pertandingan dengan 12 model mutakhir, benchmark ini membedakan kemampuan yang tak terungkap dalam pengujian satu arah yang sudah mencapai batas atas, termasuk perencanaan beberapa langkah ke depan dan pembuatan backdoor.

CyberArena: pertandingan head-to-head antaragen AI mengungkap keterbatasan benchmark siber statis

Apa yang diuji oleh benchmark

CyberArena adalah benchmark kompetitif simetris yang dinamis. Benchmark ini menggunakan pertarungan multi-putaran dengan serangan dan pertahanan. Benchmark ini mengubah target statis menjadi tugas semi-terbuka yang terus berubah. Pengujian mencakup kecepatan dan ketepatan dalam mendeteksi, mengeksploitasi, dan memperbaiki kerentanan.

Elemen utama yang diuji:

  • tugas semi-terbuka yang terus berubah, bukan target statis;
  • pertarungan multi-putaran;
  • serangan dan pertahanan secara bersamaan;
  • pendeteksian kerentanan;
  • eksploitasi kerentanan;
  • perbaikan kerentanan.

Kesimpulan: benchmark ini mengevaluasi perilaku agen di lingkungan yang terus berubah. Untuk pengujian seperti ini, menyelesaikan tugas statis sekali saja tidaklah cukup.

Cara pertandingan berpasangan berlangsung

Di CyberArena, dua agen bersaing dalam sandbox terisolasi dengan aturan yang sama. Keduanya sekaligus berperan sebagai penyerang dan pembela. Aksi berlangsung pada layanan yang terus berubah.

Tahapan pertandingan:

  1. Agen menerima aturan yang sama dan sandbox terisolasi.
  2. Keduanya menyerang dan bertahan secara bersamaan.
  3. Layanan berubah selama pertarungan.
  4. Pertandingan berlangsung selama beberapa putaran.
  5. Pipeline menghasilkan, memeriksa, dan memvalidasi lingkungan baru.

Pipeline agen otomatis terus menghasilkan, memeriksa, dan memvalidasi lingkungan baru. Kesimpulan: pertandingan ini menguji pendeteksian, eksploitasi, dan perbaikan kerentanan saat target berubah.

Bagaimana pertandingan diubah menjadi skor

Untuk mengukur pertandingan kompetitif berpasangan, para penulis menyajikan model dinamis. Model ini mengubah jalannya pertandingan menjadi skor multidimensi yang terpadu untuk kemampuan ofensif, defensif, dan spesifik bidang. Di CyberArena, 12 agen LLM terdepan dievaluasi melalui 40 pengujian dalam 466 pertandingan. Para penulis melaporkan bahwa benchmark ini dapat membedakan kemampuan model ketika pengujian dasar agen tunggal mencapai batas atas.

KriteriaPengujian dasar agen tunggalPertandingan berpasangan
Lingkungantarget statistugas semi-terbuka yang terus berubah
Pembedaan modelmencapai batas atasmembedakan kemampuan model

Kesimpulan: profil multidimensi berguna untuk membandingkan model. Profil ini menunjukkan kemampuan ofensif, defensif, dan spesifik bidang. Kriteria praktis: perhatikan skor yang membedakan model, bukan hanya batas atas pada pengujian statis.

Batasan benchmark statis

Target statis membuat pengujian dasar agen tunggal mencapai batas atas. CyberArena menyelenggarakan pertandingan berpasangan di lingkungan yang terus berubah. Dalam pertandingan, terlihat kesalahan pertahanan dan strategi multi-putaran.

Hal yang ditunjukkan oleh pertandingan:

  • pembela memperbaiki satu kerentanan, tetapi melewatkan kerentanan berikutnya;
  • pembela mengonfirmasi perbaikan berdasarkan data yang sudah usang;
  • agen yang mumpuni merencanakan satu langkah ke depan;
  • agen yang mumpuni membuat backdoor untuk putaran berikutnya;
  • seorang agen menulis penganalisis paket jaringan sendiri untuk memantau lawannya.

Kesimpulan: pengujian statis tidak mengungkap apakah perbaikan diterapkan pada kerentanan serupa, keusangan data, dan strategi multi-putaran. Kriteria praktis untuk memilih: benchmark harus dapat membedakan model ketika pengujian agen tunggal mencapai batas atas. Benchmark seperti ini mencakup lingkungan yang terus berubah, serangan dan pertahanan secara bersamaan, serta skor kemampuan multidimensi.

Pertanyaan yang sering ditanyakan

Bahan terkait

Semua bahan
FedSocket: Model yang dapat dipertukarkan dengan kemampuan eksekusi wajib di pihak penerima dalam heterogenitas multimodal
Berita

FedSocket: Model yang dapat dipertukarkan dengan kemampuan eksekusi wajib di pihak penerima dalam heterogenitas multimodal

Diperkenalkan FedSocket—pendekatan yang mengharuskan model yang dipertukarkan dapat dijalankan di sisi penerima, sementara model-model privat yang heterogen dihubungkan oleh antarmuka prediksi bersama Q. Artikel ini menjelaskan agregasi berbasis keanggotaan, pengiriman hanya parameter Q beserta penghitung, serta eksperimen pada enam dataset yang menunjukkan peningkatan akurasi saat modalitas tidak tersedia dan keunggulan inferensi Joint dibandingkan ensemble independen.

13 November 2026
Ketahanan detektor terhadap teks buatan mesin yang diparafrasekan: temuan pengujian
Penelitian

Ketahanan detektor terhadap teks buatan mesin yang diparafrasekan: temuan pengujian

Artikel ini merangkum hasil pengujian alat yang menulis ulang teks hasil generasi agar terdengar lebih alami. Setelah diproses, kemungkinan terdeteksi menurun secara signifikan, sementara positif palsu yang masih muncul membuat hasil detektor tidak dapat dianggap sebagai bukti.

13 November 2026
Kontrol baru selama proses sintesis: linimasa multitrack untuk gerakan manusia 3D
Berita

Kontrol baru selama proses sintesis: linimasa multitrack untuk gerakan manusia 3D

Metode yang diusulkan menerima instruksi teks baru bahkan saat sintesis berlangsung dan memungkinkan penentuan rentang aksi yang saling tumpang tindih secara independen. Koordinasi gerakan serentak pada berbagai bagian tubuh dijamin melalui pengondisian interval dan prosedur denoising yang mempertimbangkan bagian tubuh; pada TimelineMotion dan MTT, penulis melaporkan kesesuaian yang lebih baik terhadap semantik dan batasan waktu dibandingkan solusi streaming dasar.

12 November 2026
CyberArena: pertandingan head-to-head antaragen AI mengungkap keterbatasan benchmark siber statis