Ke mana Arah Tolok Ukur LLM?
Tes modern untuk model bahasa besar perlahan-lahan kehilangan makna: model meraih skor tinggi, sementara perbedaan di antara mereka semakin kurang signifikan. Penulis penelitian baru melihat penyebabnya pada cara kerja peningkatan kompleksitas tolok ukur. Saat ini ada dua strategi yang populer: menambah volume pengetahuan yang sangat terspesialisasi, seperti pada GPQA atau HLE, atau beralih ke logika abstrak ala ARC-AGI. Pendekatan pertama punya masalah: hasil tinggi bisa jadi akibat menghafal fakta, bukan pemahaman yang sebenarnya. Pendekatan kedua, sebaliknya, memisahkan penalaran dari konteks praktis — tugas semacam itu kurang mirip dengan apa yang akan dihadapi model dalam kehidupan nyata.
Tolok ukur baru GIM (Grounded Integration Measure) menawarkan jalan ketiga. Para penulisnya berpendapat bahwa kompleksitas seharusnya muncul bukan dari keluasan pengetahuan atau teka-teki, melainkan dari kebutuhan untuk secara bersamaan menggunakan beberapa keterampilan kognitif yang berbeda pada materi pengetahuan yang tersedia untuk umum.
Bagaimana GIM Dirancang
Kumpulan ini terdiri dari 820 soal buatan penulis: 615 terbuka untuk semua orang dan 205 privat yang tetap disembunyikan untuk mencegah pelatihan berlebih. Yang penting, setiap soal adalah komposisi orisinal, bukan pengolahan ulang dari pertanyaan yang sudah ada.
Kompleksitas dicapai bukan melalui fakta langka, melainkan melalui koordinasi operasi. Misalnya, dalam satu soal, model mungkin perlu secara bersamaan:
- memenuhi beberapa batasan;
- melacak keadaan proses yang berubah;
- menunjukkan kewaspadaan epistemik, yaitu memahami sumber dan pernyataan mana yang dapat dipercaya;
- menyesuaikan jawaban dengan audiens tertentu.
Semua tugas ini tetap berpijak pada pengetahuan yang tersedia untuk umum — model tidak dituntut menjadi ahli di bidang yang sempit. Hasilnya adalah pengujian bukan terhadap daya ingat, melainkan terhadap kemampuan menyatukan berbagai keterampilan dan menerapkannya dalam situasi yang realistis.
Jawaban dinilai terutama melalui rubrik: hasil diuraikan menjadi komponen-komponen terpisah, dan setiap komponen diperiksa secara independen. Ini mengurangi kemungkinan model mendapat skor penuh untuk jawaban yang hanya sebagian benar.
Bagaimana Model Dievaluasi
Para penulis tidak hanya mengandalkan proporsi jawaban benar. Sebagai gantinya, mereka menggunakan model IRT dua parameter yang kontinu — metode dari psikometri yang memperhitungkan kemampuan model dan tingkat kesulitan soal. Model dikalibrasi pada 53 konfigurasi tes — pasangan unik "model × tingkat penalaran". Untuk ini, mereka melibatkan lima juri yang dikalibrasi secara khusus.
Total ada lebih dari satu juta pengamatan mentah dari juri, yang kemudian dirata-ratakan menjadi 203.800 sel. Prosedur semacam ini memberikan estimasi kemampuan yang stabil dan tidak mudah rusak oleh distorsi khas akurasi mentah: ketat atau longgarnya juri, data yang hilang, atau kesalahan yang tidak seragam dari berbagai model. Skor akhir mengurutkan konfigurasi tes dengan benar bahkan di tengah kebisingan semacam itu.
Berdasarkan perhitungan ini, para penulis menyusun papan peringkat yang mencakup 22 model dan 47 konfigurasi pelaporan resmi.
Peran Waktu untuk Berpikir
Secara terpisah, para peneliti mempelajari bagaimana anggaran komputasi selama inferensi — test-time compute — memengaruhi hasil. Ini adalah studi terbesar yang pernah dipublikasikan dari jenis ini pada tolok ukur tetap: mencakup 11 model dan 35 konfigurasi tes.
Temuan yang dihasilkan tidak terduga, sebagian besar berkat desain eksperimen. Pengaturan dalam satu keluarga model — misalnya, anggaran token penalaran atau kuantisasi — memengaruhi hasil tidak kalah pentingnya dengan pilihan model itu sendiri. Artinya, Anda dapat mengambil model yang sama, mengubah parameter penalarannya, dan mendapatkan perbedaan yang sebanding dengan beralih ke model lain yang lebih canggih.
Namun, ada batasan penting: menambah jumlah token penalaran memberikan hasil yang semakin berkurang. Setelah ambang batas tertentu, komputasi tambahan hampir tidak memperbaiki jawaban. Ini berarti menambah "waktu untuk berpikir" tanpa batas tidaklah efisien — perlu mencari keseimbangan antara anggaran dan kualitas.
Kesimpulan
Artikel yang menjelaskan GIM terbit di arXiv pada tahun 2026 dan menjadi peristiwa penting bagi komunitas: 61 halaman, 27 gambar, 4 tabel. Kode dan data tolok ukur bersifat terbuka, sehingga peneliti mana pun dapat menjalankan model mereka sendiri dan membandingkannya dengan hasil yang dipublikasikan.
Ide utama GIM bukanlah membuat tes menjadi lebih sulit melalui fakta atau abstraksi, melainkan mendekatkan tugas pada realitas, tempat berbagai keterampilan kognitif bekerja sama. Mungkin tolok ukur semacam inilah yang akan memungkinkan penilaian bukan hanya terhadap "kemampuan menghafal" atau "kemampuan berpikir logis dalam kehampaan", melainkan terhadap kegunaan praktis model dalam skenario yang kompleks.
