Mengapa penilaian LLM tentang preferensi tidak boleh dianggap begitu saja
Model bahasa modern mampu membahas berbagai hal secara meyakinkan, sehingga semakin sering digunakan sebagai "ahli" untuk menilai preferensi konsumen. Misalnya, orang bertanya kepada ChatGPT berapa banyak yang bersedia dibayar seseorang untuk penerbangan dengan bagasi, atau seberapa penting kedekatan dengan stasiun kereta bagi mereka. Idenya tampak menarik: jika model cukup memahami selera manusia, maka berdasarkan jawabannya, produk, harga, dan layanan dapat dipilih secara otomatis. Tetapi bagaimana cara memverifikasi bahwa penilaian semacam itu benar-benar mencerminkan preferensi yang stabil, bukan sekadar kata-kata acak?
Sekelompok peneliti memutuskan untuk menguji hal ini dari sudut pandang ilmiah. Alih-alih hanya melihat apakah jawabannya tampak masuk akal secara sekilas, mereka mengajukan pertanyaan yang lebih ketat: apakah jawaban model secara keseluruhan dapat dijelaskan dengan satu fungsi utilitas? Fungsi utilitas adalah cara matematis untuk mengurutkan preferensi: jika fungsi itu ada, maka semua jawaban harus konsisten satu sama lain. Misalnya, jika Anda mengatakan bersedia membayar lebih 500 rubel untuk mengurangi waktu perjalanan satu jam, tetapi kemudian memilih opsi yang lebih lama dan lebih mahal — itu sudah menjadi kontradiksi.
Metodologi: cara mengukur inkonsistensi
Para penulis mengembangkan tes statistik yang memungkinkan penilaian kuantitatif seberapa jauh jawaban model menyimpang dari fungsi utilitas yang paling cocok. Jika penyimpangannya kecil, berarti model hampir konsisten dalam preferensinya. Jika besar — berarti penilaiannya bersifat acak atau situasional, dan tidak dapat direduksi menjadi satu skala.
Eksperimen dilakukan pada tiga jenis skenario: pemilihan penerbangan, sewa apartemen, dan pemesanan hotel. Ini adalah kasus praktis di mana penilaian kesediaan membayar sangat penting bagi bisnis. Enam model bahasa besar yang berbeda diikutsertakan dalam pengujian — ini membuat sampelnya semakin representatif.
Hasil: kontradiksi di mana-mana
Ternyata, keenam model memberikan jawaban yang secara konsisten kontradiktif. Artinya, jika pertanyaan serupa diajukan dengan formulasi yang berbeda, mereka kemungkinan besar akan memilih opsi yang tidak saling cocok. Misalnya, sebuah model mungkin menyatakan bahwa keberadaan tempat parkir sangat penting baginya, tetapi ketika membandingkan dua apartemen tertentu, model tersebut menolak membayar lebih untuk parkir, meskipun sebelumnya menyatakan kesediaannya.
Perbedaan semacam ini sulit dijelaskan sebagai sekadar kesalahan. Para peneliti menekankan bahwa ini lebih merupakan sifat sistemik: model bahasa besar tidak memiliki "selera" yang tetap, melainkan menghasilkan setiap jawaban dari awal, berdasarkan konteks dan pola probabilistik. Oleh karena itu, model-model ini dapat digunakan untuk ide-ide awal, tetapi tidak untuk pemodelan preferensi individu yang akurat.
Mengapa ini penting untuk praktik
Hasil yang diperoleh secara langsung menyerang beberapa gagasan populer. Dalam ekonomi perilaku dan pemasaran, semakin sering dibahas penggunaan LLM untuk personalisasi otomatis: misalkan model telah mempelajari preferensi pengguna dari permintaan mereka dan kini dapat memilih penawaran yang optimal. Tetapi jika penilaian model itu sendiri saling bertentangan secara internal, maka algoritma optimasi apa pun yang dibangun di atasnya akan mengalami kegagalan.
Selain itu, masalah ini juga menyentuh metodologi penelitian itu sendiri. Jika seorang peneliti menggunakan LLM untuk menilai utilitas dalam survei, ia harus terlebih dahulu memastikan bahwa model tidak memberikan jawaban acak. Jika tidak, hasil penelitian tersebut akan menjadi tidak dapat diandalkan.
Kabar baiknya adalah para penulis tidak hanya menunjukkan masalahnya, tetapi juga menawarkan alat untuk mendiagnosisnya — tes dan indikator penyimpangan. Alat-alat ini sudah dapat digunakan untuk memeriksa model baru atau dalam penyempurnaan model yang ada. Mungkin seiring waktu akan muncul metode pelatihan khusus yang meningkatkan konsistensi internal penilaian. Tetapi untuk saat ini, masih terlalu dini untuk mengandalkan LLM sebagai sumber informasi yang andal tentang apa yang sebenarnya diinginkan orang.
