Model bahasa besar modern sangat mahir dalam tugas-tugas yang membutuhkan pengingatan dan penerapan pengetahuan manusia yang sudah ada. Namun, sistem yang benar-benar cerdas harus mampu melampaui apa yang telah dipelajari: mengajukan pertanyaan yang belum pernah diajukan siapa pun, dan mengubah dugaan menjadi hasil ilmiah yang dapat diuji. Kemampuan inilah—atau lebih tepatnya, ketiadaan kemampuan ini pada AI saat ini—yang ingin diukur oleh benchmark baru bernama ASI-Bench.
Dari Reproduksi Pengetahuan ke Penciptaan Pengetahuan Baru
Para peneliti telah lama memperhatikan bahwa model modern dilatih untuk memadatkan dan menggabungkan informasi dari kumpulan data besar yang dibuat oleh manusia. Namun, kecerdasan super dalam pemahaman penulis bukan sekadar "pencerita ulang" yang lebih kuat, melainkan sistem yang mampu secara mandiri meneliti hal yang tidak diketahui dan menghasilkan pengetahuan baru. Tes tradisional hampir selalu bermuara pada pemeriksaan seberapa akurat model mereproduksi informasi yang dipelajari dan apakah model mampu mengikuti instruksi manusia yang terperinci. Tes-tes tersebut tidak menjawab pertanyaan utama: dapatkah AI bertindak seperti ilmuwan mandiri?
Dalam situasi ini, diperlukan alat yang secara fundamental berbeda, yang benar-benar menguji kreativitas ilmiah dan otonomi—dan langkah pertama ke arah ini dibuat oleh ASI-Bench.
Bagaimana Benchmark Ini Bekerja
Pengembangan tes baru ini memakan waktu lebih dari 31.000 jam kerja manusia, melibatkan kolaborasi lebih dari 40 ahli. Hasilnya, benchmark ini mencakup 60 tugas penelitian berbasis proyek dari 11 bidang ilmiah—mulai dari ilmu alam hingga disiplin teknik. Setiap tugas dirancang sebagai proyek penelitian kecil, di mana pekerjaan harus dilakukan dari hipotesis awal hingga hasil yang dapat diverifikasi.
Fitur fundamental dari ASI-Bench adalah pengurangan dukungan metodologis secara bertahap. Untuk setiap tugas, penulis menyiapkan beberapa tingkat panduan: dari instruksi yang sangat terperinci, yang merinci setiap langkah, hingga pernyataan masalah di mana agen harus memilih metode sendiri dan bahkan menentukan arah penelitian. Dengan demikian, tes ini memungkinkan kita untuk melihat seberapa jauh AI bersedia melangkah tanpa petunjuk manusia.
Untuk menghilangkan kesalahan dan "hafalan" jawaban, semua tugas melalui pemeriksaan bertingkat: tinjauan ahli, audit menggunakan sistem AI lain, eksekusi di sandbox terisolasi, dan validasi terpisah dari hasil penghitungan skor. Ini membuat hasil lebih andal dibandingkan tes biasa.
Hasil Awal: Ketergantungan pada Manusia
Penulis menjalankan 18 konfigurasi "agen–model" tingkat state-of-the-art melalui semua tingkat tugas. Hasilnya sangat signifikan. Jika dengan panduan metodologis penuh skor rata-rata adalah 50,91, maka ketika agen hanya diberi metode—turun menjadi 29,10. Dan ketika model harus menentukan metode secara mandiri, skornya turun menjadi 26,62.
Penurunan tajam ini menunjukkan bahwa bahkan sistem paling modern pun belum siap untuk melakukan penelitian ilmiah menyeluruh tanpa petunjuk manusia yang terperinci. Mereka kuat dalam mengeksekusi langkah-langkah yang ditetapkan dengan jelas, tetapi kehilangan arah secara signifikan ketika harus mengambil inisiatif. Ini adalah sinyal penting bagi semua orang yang mengharapkan kemunculan kecerdasan super dalam waktu dekat: kemajuan dalam reproduksi pengetahuan tidak sama dengan kemajuan dalam pencarian ilmiah otonom.
Platform Terbuka dan Langkah Berikutnya
Para pengembang menjadikan ASI-Bench terbuka untuk komunitas ilmiah dan mengundang peneliti dari seluruh dunia untuk menambahkan tugas-tugas baru. Ini akan memungkinkan perluasan kumpulan bidang dan skenario, membuat benchmark lebih lengkap. Selain itu, keterbukaan tes ini memberikan kesempatan untuk melacak kemajuan sistem AI secara dinamis: hasil hari ini kemungkinan akan menjadi titik awal untuk perbandingan dengan model masa depan.
Meskipun skor saat ini masih rendah, hasil utama dari penelitian ini bukanlah kekecewaan, melainkan munculnya alat yang untuk pertama kalinya memungkinkan pengukuran kualitas "penelitian" AI tersebut. Selanjutnya, terserah pada apakah model baru dan arsitektur agen dapat menjembatani kesenjangan antara eksekusi di bawah bimbingan dan pekerjaan ilmiah mandiri.
