Apa dan mengapa FinSkillBench menilai
Saat membandingkan agen AI untuk manajemen investasi, mudah untuk terbawa oleh pilihan model bahasa: lebih banyak parameter, arsitektur lebih baru, skor lebih tinggi pada tes biasa. Tetapi FinSkillBench mengajak kita melihat masalah dari sisi lain: seberapa mampu agen menggunakan keterampilan prosedural finansial — instruksi langkah demi langkah dan komponen yang dapat dieksekusi yang mengubah pengetahuan menjadi tindakan.
Benchmark ini mencakup tiga area kunci pekerjaan investasi:
- pembangunan portofolio
- manajemen risiko
- analisis fundamental
Di dalam area-area ini, para penulis mengumpulkan 12 subtugas dan 2603 episode. Setiap episode adalah tugas dengan data pada titik waktu tertentu, jawaban benar yang tersembunyi, dan formulasi yang harus diubah agen menjadi tindakan. Artinya, yang diuji bukanlah ingatan model, melainkan kemampuannya untuk menerapkan prosedur yang tepat pada saat yang tepat.
Tiga mode kerja agen
Untuk memahami apa sebenarnya yang diberikan keterampilan, para penulis membandingkan tiga varian perilaku agen.
- Tanpa keterampilan. Model menyelesaikan tugas dengan pengetahuan "mentah", tanpa petunjuk eksternal tentang cara bertindak.
- Dengan keterampilan yang dikurasi. Agen menerima seperangkat dokumen prosedural dan komponen yang dapat dieksekusi, yang dipilih oleh para ahli. Ini sebenarnya adalah pustaka tindakan yang siap pakai: aturan, rumus, algoritme.
- Dengan keterampilan yang dihasilkan sendiri. Agen menulis prosedurnya sendiri selama proses penyelesaian dan mencoba menggunakannya lebih lanjut dalam episode yang sama.
Pertanyaan kuncinya adalah apakah prosedur yang disiapkan dengan baik dapat mengompensasi keterbatasan model — atau apakah model yang cerdas mampu menanganinya sendiri.
Hasilnya cukup signifikan. Pada sembilan model, penambahan keterampilan yang dikurasi secara konsisten meningkatkan skor akhir: skor rata-rata naik dari 0.366 menjadi 0.528. Efeknya paling kuat terlihat dalam pembangunan portofolio dan manajemen risiko — di area yang mengutamakan urutan tindakan dan aturan yang jelas.
Generasi mandiri hampir tidak membantu
Intuisi mengatakan: beri model kemampuan untuk membuat prosedurnya sendiri — dan ia akan beradaptasi dengan tugas lebih baik daripada dengan templat orang lain. Dalam eksperimen, hal ini tidak terbukti. Keterampilan yang dihasilkan sendiri hanya memberikan peningkatan yang tidak signifikan, tetapi membutuhkan sumber daya komputasi yang jauh lebih besar. Agen menghabiskan waktu untuk membuat dan menulis ulang prosedur, tetapi hasilnya hampir tidak berubah.
Generasi mandiri yang naif seperti menemukan kembali roda di setiap tugas: mahal dan tanpa jaminan kualitas. Keterampilan prosedural yang siap pakai dan teruji ternyata lebih andal daripada upaya model untuk menurunkan metode dari nol setiap saat.
Reproduksibilitas pada kerangka kerja lain
Benchmark apa pun dapat "disesuaikan" dengan lingkungan tertentu. Oleh karena itu, para penulis juga menjalankan evaluasi pada kerangka kerja agen independen Hermes Agent: 8 model, 5280 episode, tiga area yang sama. Pola umumnya terkonfirmasi — keterampilan yang siap pakai meningkatkan kinerja agen di semua arah.
Namun, besarnya efek ternyata tidak seragam: bergantung pada subtugas dan bagaimana "pipeline" agen disusun. Ini adalah catatan penting: keterampilan bukanlah tombol ajaib, tetapi memberikan keunggulan sistematis.
Kesimpulan bagi mereka yang membangun agen investasi
Pelajaran praktis utama dari penelitian ini: dalam manajemen investasi, akses ke keterampilan prosedural yang andal bisa sama pentingnya dengan pemilihan model dasar. Jika agen memiliki prosedur yang jelas dan mampu mengikutinya, ia sering kali mengungguli model yang lebih kuat yang bertindak secara membabi buta.
Bagi tim produk, ini berarti tidak semua upaya harus difokuskan hanya pada pemilihan model. Perlu diperhatikan pembentukan pustaka prosedur keuangan yang teruji: cara menghitung ulang bobot portofolio, cara memperhitungkan faktor risiko, cara menganalisis laporan keuangan. Secara terpisah, para penulis menekankan: prosedur harus dikurasi, bukan dibuat oleh agen secara spontan.
Detail terakhir: para penulis membuka benchmark itu sendiri, alat evaluasi, paket keterampilan yang dikurasi, dan seluruh lintasan tindakan agen. Ini memungkinkan hasil untuk direproduksi dan sistem agen sendiri untuk dikembangkan, tanpa harus membangun semuanya dari nol.
