Evolusi benchmark agen seiring peningkatan skala kumpulan tugas: peran seleksi bukti dan perlombaan berurutan

19 November 20260 tampilan

Studi ini menjelaskan mengapa menambah jumlah tugas dapat menghambat evolusi lingkungan pengujian agen: penyebabnya adalah pemilihan bukti yang buruk, bukan volume data itu sendiri. Successive Scale Racing yang diusulkan memilih kombinasi tugas yang beragam secara bergiliran dan membandingkan kandidat dengan biaya rendah; pada tiga benchmark, metode ini meningkatkan proporsi uji coba yang berhasil saat kumpulan tugas bertambah dari 40 menjadi 200, sedangkan metode dasar mengalami penurunan, dan jumlah peluncuran verifikasi berkurang sekitar 60%.

Evolusi benchmark agen seiring peningkatan skala kumpulan tugas: peran seleksi bukti dan perlombaan berurutan

Apa yang dioptimalkan oleh harness agen

Harness agen menetapkan tiga elemen: instruksi, alat, dan alur kendali agen. Evolusi harness mengubah elemen-elemen ini berdasarkan pengalaman menjalankan tugas. Pengalaman berfungsi sebagai bukti yang terus berkembang.

Elemen utama:

  • instruksi;
  • alat;
  • alur kendali;
  • bukti berupa pengalaman menjalankan tugas.

Kesimpulan praktis: kualitas harness ditentukan oleh cara harness memanfaatkan pengalaman yang terkumpul. Kumpulan instruksi dan alat saja tidak menunjukkan kualitas evolusi.

Paradoks perluasan kumpulan tugas

Penelitian awal mengungkap sebuah paradoks. Kinerja metode yang ada menurun saat kumpulan tugas diperluas. Penyebabnya adalah pemilihan bukti yang tidak optimal untuk optimasi.

Kombinasi bukti yang berbeda menghasilkan hasil evolusi yang sangat berbeda. Kumpulan tugas bertambah besar, dan hasil semakin bergantung pada pemilihan bukti.

Kesimpulan: skala kumpulan tugas tidak menjamin peningkatan. Perluasan tugas memerlukan mekanisme pemilihan bukti tersendiri.

Pemilihan bukti sebagai pengungkit evolusi

Bukti adalah pengalaman menjalankan tugas. Evolusi menggunakannya sebagai bahan untuk mengubah harness. Kualitas hasil bergantung pada komposisi kombinasi bukti.

Kombinasi berbeda dalam hal kumpulan tugas yang disertakan. Tugas yang sama dapat masuk ke kumpulan yang berbeda. Kumpulan yang berbeda menghasilkan hasil evolusi yang sangat berbeda.

Kriteria praktis: yang penting adalah prinsip pemilihan bukti, bukan jumlahnya. Kriteria evaluasi: apakah metode mempertimbangkan kualitas dan cakupan tugas.

Successive Scale Racing: mekanisme balapan berurutan

SSR adalah framework yang secara adaptif mencari kombinasi bukti yang optimal. Pencarian berlangsung di setiap putaran evolusi. Metode ini tidak menetapkan satu kombinasi sejak awal.

Tahapan putaran:

  1. Membentuk kombinasi bukti yang beragam.
  2. Mempertimbangkan kualitas dan cakupan tugas terkait.
  3. Mengadakan balapan antarharness kandidat.
  4. Menyeleksi kandidat dengan anggaran komputasi yang kecil.

Balapan mengidentifikasi harness yang mendekati optimal. Jumlah pengujian dikurangi hingga 60%. Anggaran digunakan untuk membandingkan kandidat, bukan untuk menguji semua kemungkinan.

Kesimpulan praktis: balapan berurutan menurunkan biaya pengujian hipotesis. Mekanisme seleksi kandidat lebih penting daripada jumlah pengujian.

Hasil saat kumpulan tugas bertambah

SSR diuji pada tiga benchmark. Metode ini menunjukkan hasil terbaik dalam keenam konfigurasi. Saat kumpulan tugas bertambah dari 40 menjadi 200, pass rate naik dari 64.3% menjadi 68.3%.

Metode dasar menunjukkan perilaku berbeda. Skornya menurun dengan perluasan kumpulan yang sama. Perbedaan hasil bukan ditentukan oleh skala, melainkan oleh pemilihan bukti dan balapan kandidat.

MetodePerubahan pass rate saat kumpulan tugas diperluas
SSRnaik dari 64.3% menjadi 68.3%
Metode dasarmenurun

Kesimpulan: keandalan metode terlihat dari kinerjanya pada kumpulan tugas yang diperluas. Peningkatan pada kumpulan tugas kecil tidak otomatis berlaku pada kumpulan yang lebih besar.

Kriteria untuk memilih harness agen

Kriteria utama:

  • prinsip pemilihan bukti;
  • pertimbangan kualitas dan cakupan tugas;
  • pencarian kombinasi secara adaptif di setiap putaran;
  • perubahan pass rate saat kumpulan tugas diperluas;
  • anggaran untuk menguji kandidat.

Balapan kandidat mengurangi jumlah pengujian hingga 60%. Angka ini mengaitkan kualitas seleksi dengan biaya pengujian.

Kesimpulan: ketahanan terhadap peningkatan skala kumpulan tugas lebih penting daripada hasil pada kumpulan yang sempit. Metode yang kinerjanya meningkat seiring bertambahnya kumpulan tugas lebih berguna daripada metode dengan hasil tinggi pada kumpulan terbatas.

Pertanyaan yang sering ditanyakan

Evolusi benchmark agen seiring peningkatan skala kumpulan tugas: peran seleksi bukti dan perlombaan berurutan