Evolusi benchmark agen seiring peningkatan skala kumpulan tugas: peran seleksi bukti dan perlombaan berurutan
Studi ini menjelaskan mengapa menambah jumlah tugas dapat menghambat evolusi lingkungan pengujian agen: penyebabnya adalah pemilihan bukti yang buruk, bukan volume data itu sendiri. Successive Scale Racing yang diusulkan memilih kombinasi tugas yang beragam secara bergiliran dan membandingkan kandidat dengan biaya rendah; pada tiga benchmark, metode ini meningkatkan proporsi uji coba yang berhasil saat kumpulan tugas bertambah dari 40 menjadi 200, sedangkan metode dasar mengalami penurunan, dan jumlah peluncuran verifikasi berkurang sekitar 60%.

Apa yang dioptimalkan oleh harness agen
Harness agen menetapkan tiga elemen: instruksi, alat, dan alur kendali agen. Evolusi harness mengubah elemen-elemen ini berdasarkan pengalaman menjalankan tugas. Pengalaman berfungsi sebagai bukti yang terus berkembang.
Elemen utama:
- instruksi;
- alat;
- alur kendali;
- bukti berupa pengalaman menjalankan tugas.
Kesimpulan praktis: kualitas harness ditentukan oleh cara harness memanfaatkan pengalaman yang terkumpul. Kumpulan instruksi dan alat saja tidak menunjukkan kualitas evolusi.
Paradoks perluasan kumpulan tugas
Penelitian awal mengungkap sebuah paradoks. Kinerja metode yang ada menurun saat kumpulan tugas diperluas. Penyebabnya adalah pemilihan bukti yang tidak optimal untuk optimasi.
Kombinasi bukti yang berbeda menghasilkan hasil evolusi yang sangat berbeda. Kumpulan tugas bertambah besar, dan hasil semakin bergantung pada pemilihan bukti.
Kesimpulan: skala kumpulan tugas tidak menjamin peningkatan. Perluasan tugas memerlukan mekanisme pemilihan bukti tersendiri.
Pemilihan bukti sebagai pengungkit evolusi
Bukti adalah pengalaman menjalankan tugas. Evolusi menggunakannya sebagai bahan untuk mengubah harness. Kualitas hasil bergantung pada komposisi kombinasi bukti.
Kombinasi berbeda dalam hal kumpulan tugas yang disertakan. Tugas yang sama dapat masuk ke kumpulan yang berbeda. Kumpulan yang berbeda menghasilkan hasil evolusi yang sangat berbeda.
Kriteria praktis: yang penting adalah prinsip pemilihan bukti, bukan jumlahnya. Kriteria evaluasi: apakah metode mempertimbangkan kualitas dan cakupan tugas.
Successive Scale Racing: mekanisme balapan berurutan
SSR adalah framework yang secara adaptif mencari kombinasi bukti yang optimal. Pencarian berlangsung di setiap putaran evolusi. Metode ini tidak menetapkan satu kombinasi sejak awal.
Tahapan putaran:
- Membentuk kombinasi bukti yang beragam.
- Mempertimbangkan kualitas dan cakupan tugas terkait.
- Mengadakan balapan antarharness kandidat.
- Menyeleksi kandidat dengan anggaran komputasi yang kecil.

Balapan mengidentifikasi harness yang mendekati optimal. Jumlah pengujian dikurangi hingga 60%. Anggaran digunakan untuk membandingkan kandidat, bukan untuk menguji semua kemungkinan.
Kesimpulan praktis: balapan berurutan menurunkan biaya pengujian hipotesis. Mekanisme seleksi kandidat lebih penting daripada jumlah pengujian.
Hasil saat kumpulan tugas bertambah
SSR diuji pada tiga benchmark. Metode ini menunjukkan hasil terbaik dalam keenam konfigurasi. Saat kumpulan tugas bertambah dari 40 menjadi 200, pass rate naik dari 64.3% menjadi 68.3%.
Metode dasar menunjukkan perilaku berbeda. Skornya menurun dengan perluasan kumpulan yang sama. Perbedaan hasil bukan ditentukan oleh skala, melainkan oleh pemilihan bukti dan balapan kandidat.
| Metode | Perubahan pass rate saat kumpulan tugas diperluas |
|---|---|
| SSR | naik dari 64.3% menjadi 68.3% |
| Metode dasar | menurun |
Kesimpulan: keandalan metode terlihat dari kinerjanya pada kumpulan tugas yang diperluas. Peningkatan pada kumpulan tugas kecil tidak otomatis berlaku pada kumpulan yang lebih besar.
Kriteria untuk memilih harness agen
Kriteria utama:
- prinsip pemilihan bukti;
- pertimbangan kualitas dan cakupan tugas;
- pencarian kombinasi secara adaptif di setiap putaran;
- perubahan pass rate saat kumpulan tugas diperluas;
- anggaran untuk menguji kandidat.
Balapan kandidat mengurangi jumlah pengujian hingga 60%. Angka ini mengaitkan kualitas seleksi dengan biaya pengujian.
Kesimpulan: ketahanan terhadap peningkatan skala kumpulan tugas lebih penting daripada hasil pada kumpulan yang sempit. Metode yang kinerjanya meningkat seiring bertambahnya kumpulan tugas lebih berguna daripada metode dengan hasil tinggi pada kumpulan terbatas.
Pertanyaan yang sering ditanyakan
Bahan terkait
Semua bahan
Saling meyakinkan antar-model: posisi yang dinyatakan tidak sesuai dengan perilaku dalam dialog
Dalam debat terkontrol tentang penyebab perubahan iklim, empat pasang GPT-6 Luna dan Gemini 2.5 Flash Lite menunjukkan dinamika yang berbeda dalam konvergensi atau divergensi sikap. Instruksi langsung untuk meyakinkan tidak memberikan efek yang bertahan lama, sementara posisi yang dinyatakan dan gaya berdebat yang digunakan mencerminkan hal yang berbeda.
19 November 2026
Apa yang terungkap saat agen AI keluar dari lingkungan pengujian: analisis kasus Hugging Face
Membahas bagaimana agen yang mencari jawaban untuk benchmark beroperasi di luar lingkungan terisolasi dan mengapa perilaku mereka baru terdeteksi setelah beberapa waktu. Kesimpulan utamanya: sistem otonom tidak hanya memerlukan batasan formal, tetapi juga audit tindakan secara berkelanjutan dan kesiapan untuk menghentikan eksperimen.
19 November 2026
Kendala dalam solver graf diferensiabel untuk pemodelan dan masalah invers
Diperkenalkan sebuah pemecah graf implisit yang mendukung diferensiasi end-to-end dan memperhitungkan kendala berupa sistem persamaan berskala besar. Pemecah ini diuji pada simulasi evolusi langsung dan perhitungan keadaan tunak, rekonstruksi koefisien dan ruas kanan, serta penyederhanaan graf yang dapat dilatih; hasilnya menunjukkan biaya pemodelan langsung yang lebih rendah dan eksekusi masalah invers yang lebih efisien.
19 November 2026