Agen, bukan pengoptimal terpisah: kerangka kerja terpadu yang berkembang pada beberapa tugas sekaligus

Apa itu harness dan mengapa perlu dioptimalkan

Harness adalah kode di sekitar agen berbasis model bahasa. Kode ini mengatur prompt, pemanggilan alat, pengelolaan konteks, dan eksekusi. Cara agen menyelesaikan tugas bergantung pada rancangan kode ini.

Pada sebagian besar metode yang ada, harness dibuat oleh manusia. Proposer terpisah mengubah harness solver. Harness yang berbeda dikembangkan untuk setiap benchmark. Pendekatan ini mengaitkan peningkatan dengan satu tugas saja.

Kriteria praktis: satu kerangka dikembangkan sekaligus untuk beberapa tugas, bukan secara terpisah untuk setiap benchmark.

Satu kerangka: agen sebagai pengoptimalnya sendiri

Artikel Qiankai Xu diajukan pada 29 September 2026. Judulnya “Self-Evolving Harness on Multiple Tasks with the Agent as Its Own Optimizer”. Pendekatan ini menggunakan satu model beku dan satu versi harness.

Model terlebih dahulu menyelesaikan tugas sebagai solver. Kemudian, model yang sama bertindak sebagai proposer. Model membaca catatan lengkap dari setiap proses dan langsung mengedit harness yang menjalankannya. Proposer terpisah tidak diperlukan.

Kriteria praktis: agen yang membaca hasil prosesnya dan mengubah harness-nya sendiri menggantikan pengoptimal terpisah.

Lima benchmark dan pemisahan data

Setiap putaran evolusi mencakup tugas dari lima benchmark di berbagai bidang. Tugas pelatihan dan tugas yang ditahan untuk evaluasi dipisahkan secara ketat.

Selain itu, evaluasi dilakukan pada lima benchmark di luar distribusi. Benchmark ini tidak digunakan selama proses evolusi.

Kriteria praktis: evaluasi di luar distribusi menguji transfer, bukan sekadar penyesuaian pada tugas yang sudah dikenal.

Dua tahap evolusi

Proses evolusi disajikan sebagai pelatihan model mendalam dalam dua tahap:

1. Pra-pelatihan multitugas.
2. Pelatihan berkelanjutan.

Versi awal harness terdiri dari 49 baris. Setelah tahap pertama, skor rata-rata meningkat 4.48 poin pada benchmark dalam distribusi. Pada benchmark di luar distribusi, peningkatannya sebesar 12.64 poin. Pada benchmark dalam distribusi, hasilnya melampaui Codex, sedangkan pada benchmark di luar distribusi hasilnya setara dengannya.

Pada tahap kedua, evolusi lebih lanjut pada Claw-Eval meningkatkan skornya dari 66.17 menjadi 68.06. Pada benchmark ini, pendekatan tersebut melampaui Codex.

Kriteria praktis: pra-pelatihan memperluas transfer, sedangkan pelatihan berkelanjutan menyempurnakan hasil pada benchmark tertentu.

Mekanisme yang muncul selama evolusi

Para penulis menganalisis tiga mekanisme:

• pemotongan keluaran;
• pemadatan riwayat;
• verifikasi independen.

Pemotongan keluaran membatasi panjang jawaban. Pemadatan riwayat mengurangi konteks. Verifikasi independen menambahkan pemeriksaan hasil. Mekanisme ini muncul dari perubahan pada harness, bukan ditentukan oleh manusia.

Kriteria praktis: mekanisme yang muncul dapat menjadi panduan saat mengevaluasi kerangka sendiri.