Model bahasa besar semakin sering mengambil peran sebagai lawan bicara, asisten, dan "pelaksana" otomatis. Semakin banyak tanggung jawab yang kita berikan kepada mereka, semakin penting untuk memahami sejak awal gaya kerja model: di mana ia cenderung mengalah, di mana ia bersikukuh pada pendiriannya, dan di mana ia hanya memberikan jawaban yang tampak masuk akal. Dalam praktiknya, "kepribadian" LLM sering kali diukur dengan kuesioner psikologis klasik, misalnya Big Five Inventory (BFI). Namun, pemindahan metodologi dari manusia ke jaringan saraf ini sering kali mengalami kegagalan.
Mengapa BFI Tidak Cocok untuk Mengevaluasi LLM
Pendekatan BFI tampak logis: pada manusia, kita mengukur keterbukaan terhadap pengalaman, kehati-hatian, ekstroversi, keramahan, dan neurotisisme — mengapa tidak menjalankan model melalui skala yang sama? Masalahnya, BFI dan kuesioner serupa dirancang untuk manusia dan mengasumsikan kemampuan untuk melaporkan diri sendiri. Jaringan saraf tidak merefleksikan dirinya sendiri seperti manusia: ia memilih teks yang paling masuk akal berdasarkan data pelatihan. Oleh karena itu, hasilnya sangat bergantung pada detail yang "kebetulan": susunan kata pertanyaan, urutan pernyataan, atau perubahan kecil pada prompt sistem.
Dari sini muncul keterbatasan pertama — reliabilitas yang rendah. Jalankan model yang sama melalui tes yang sama dengan sedikit penyesuaian — dan Anda bisa mendapatkan "kepribadian" yang berbeda. Evaluasi semacam itu kurang berguna untuk pengambilan keputusan teknis: Anda tidak bisa benar-benar mengandalkan karakteristik yang berubah hanya karena beberapa sinonim.
Masalah kedua lebih dalam. Konstruksi psikologis BFI menggambarkan manusia, bukan sistem komputasional. Model tidak memiliki kepribadian dalam pengertian manusia, meskipun pola yang konsisten mungkin terlihat dalam perilakunya. Kuesioner klasik mencoba menangkap sesuatu yang dirancang untuk manusia, dan justru karena itulah ia kurang mampu memprediksi bagaimana LLM akan berperilaku dalam permintaan nyata: validitas alat semacam itu untuk prediksi ternyata terbatas.
CSI: Kuesioner yang Dirancang untuk Model, Bukan untuk Manusia
Alih-alih terus-menerus mengadaptasi kuesioner manusia, penulis penelitian baru ini mengusulkan untuk menyusun ulang alat tersebut dari awal. Core Sentiment Inventory (CSI) dirancang khusus untuk mengevaluasi ciri-ciri kepribadian LLM. Ide utamanya adalah menjauh dari jawaban langsung "setuju / tidak setuju". CSI menyusun profil dari sinyal tidak langsung, yaitu dari cara model memilih perilaku dalam situasi tertentu. Evaluasi implisit semacam ini lebih kecil kemungkinannya untuk memancing model memberikan jawaban yang "diinginkan" dan memungkinkan terlihatnya pola yang lebih alami.
Metodologi ini awalnya mencakup dua bahasa — Inggris dan Mandarin. Ini penting: konteks linguistik dan budaya mengubah perilaku model, dan kuesioner bilingual memungkinkan pelacakan hal ini, alih-alih memberikan potret rata-rata. Sebagai keluaran, CSI tidak hanya menghasilkan beberapa skor, tetapi potret psikologis model: deskripsi tentang ciri-ciri mana yang muncul lebih kuat dan dalam kondisi apa.
Apa yang Ditunjukkan oleh Eksperimen
Dalam eksperimen, penulis membandingkan CSI dengan pendekatan yang ada untuk mengevaluasi kepribadian LLM. Menurut data mereka, metodologi baru ini bekerja pada tiga tingkatan sekaligus:
- Sensitivitas terhadap nuansa. CSI menangkap perbedaan halus dalam perilaku model, termasuk perbedaan antar bahasa dan jenis konteks. Profil tidak meratakan perilaku menjadi rata-rata, tetapi mempertahankan detail penting.
- Reliabilitas. Hasil CSI terbukti jauh lebih konsisten dan stabil dibandingkan alat yang ada saat ini. Perubahan kecil pada kondisi lebih sedikit memengaruhi gambaran akhir.
- Prediktivitas. Korelasi antara penilaian CSI dan keluaran aktual model melebihi 0,85. Ini adalah hubungan yang kuat: jika CSI menyatakan bahwa model cenderung berperilaku dengan cara tertentu, perilaku aktual kemungkinan besar akan sesuai dengan prediksi.
Kombinasi sifat seperti ini jarang ditemukan: beberapa metodologi membedakan perilaku dengan baik tetapi tidak stabil; yang lain stabil tetapi hanya memberi sedikit informasi tentang tindakan nyata model. CSI berupaya menggabungkan kedua kualitas tersebut.
Mengapa Ini Penting dalam Praktik
Profil kepribadian LLM yang stabil berguna bukan hanya sebagai subjek penelitian. Ini adalah alat kendali mutu: Anda dapat menentukan terlebih dahulu gaya komunikasi apa yang dibutuhkan dari seorang asisten, dan memastikan bahwa model tidak "rusak" ketika susunan kata tugas diubah. CSI juga memungkinkan perbandingan antar model berdasarkan karakteristik perilaku, bukan hanya berdasarkan tolok ukur pengetahuan.
Terakhir, kerangka kerja untuk mengevaluasi "kepribadian" ini penting untuk pengembangan AI yang bertanggung jawab. Semakin akurat kita memahami pola perilaku apa yang tertanam dalam model, semakin cepat kita dapat mendeteksi kecenderungan yang tidak diinginkan — sebelum kecenderungan tersebut muncul dalam produk nyata. Penulis telah merilis kode metodologi, sehingga hasilnya dapat direproduksi dan diuji pada model Anda sendiri.
