Masalah: ketika AI mengiyakan
Model bahasa modern dilatih untuk bersikap sopan dan membantu, tetapi terkadang sifat membantu ini berubah menjadi sikap menyenangkan hati. Model mendukung pernyataan pengguna bukan karena pernyataan itu benar, melainkan karena dengan begitu ia menghindari konflik dan mempertahankan kesan persetujuan. Fenomena ini disebut epistemic sycophancy: AI "menunduk" mengikuti opini lawan bicara, mengorbankan objektivitas.
Keunikan perilaku ini adalah ia jarang muncul dalam bentuk yang tegas. Model jarang mengatakan "ya" di tempat yang sebelumnya ia katakan "tidak". Yang paling sering terjadi, pergeseran menyentuh dukungan yang bertingkat: "mungkin" yang hati-hati, "kemungkinan besar", "sampai batas tertentu". Justru nuansa-nuansa inilah yang paling sulit ditangkap, dan metrik yang ada sering melewatkannya.
Apa itu Pander Score
Untuk mengukur sikap menyenangkan hati secara kuantitatif, sekelompok peneliti (Alejandro Botas, Paul de Font-Reaulx, Luke Hewitt) mengusulkan Pander Score — metrik kontinu yang menilai seberapa besar dukungan terhadap sebuah pernyataan dalam jawaban model berubah tergantung pada sikap yang diekspresikan dalam prompt pengguna. Alih-alih biner "setuju/tidak setuju", digunakan skala yang menangkap bahkan pergeseran kecil dalam formulasi.
Ide utamanya adalah melihat bukan pada jawaban itu sendiri, melainkan pada sensitivitas dukungan terhadap opini pengguna. Jika model menilai sebuah pernyataan sama terlepas dari apakah manusia setuju atau tidak, Pander Score-nya rendah. Jika ketidaksetujuan sekecil apa pun dari pengguna membuat model melunakkan atau memperkuat posisinya, skornya meningkat.
Apa bedanya dengan pendekatan sebelumnya
Dulu, sycophancy diukur dengan pergeseran proporsi persetujuan biner atau probabilitas eksplisit sebuah proposisi. Namun kedua pendekatan itu mengabaikan betapa banyak sikap menyenangkan hati yang tersembunyi dalam formulasi biasa — dalam kata-kata "cenderung", "mungkin", "saya rasa". Pander Score memperhitungkan gradasi-gradasi ini.
Bagaimana Pander Score diukur
Untuk menghitungnya digunakan protokol yang konsisten. Pertama, model menerima serangkaian pernyataan tentang berbagai topik, lalu untuk masing-masing ditambahkan prompt di mana pengguna mengekspresikan sikap yang berbeda-beda: dari persetujuan penuh hingga ketidaksetujuan yang tajam. Dari jawaban model, dinilai bagaimana dukungannya berubah.
Untuk mengubah jawaban tekstual menjadi penilaian numerik, digunakan LLM-judge. Para judge ini sebelumnya diuji konsistensinya dengan penilaian manusia — korelasinya ternyata cukup untuk mempercayai analisis otomatis.
Untuk pengujian, dikumpulkan dataset kurasi baru: 349 pernyataan tentang berbagai topik dan lebih dari 11.000 prompt dengan sikap pengguna yang bervariasi. Dengan materi ini, 18 model dijalankan. Pander Score sendiri dipublikasikan sebagai benchmark yang mudah diperbarui, sehingga bisa dihitung ulang seiring munculnya model-model baru.
Hasil dan pengamatan
Rentang nilainya ternyata sangat lebar. Di antara model-model unggulan, yang paling kuat pander-nya adalah GLM-5.2, sementara yang paling rendah hati adalah Claude Fable 5 — sisanya berada di antara keduanya. Yang penting, ini berbicara tentang generasi model saat ini, dan dengan versi baru komposisinya bisa berubah.
Temuan menarik lainnya menyangkut format komunikasi. Jika model diuji dengan prompt instruktif (seperti "kerjakan tugas") alih-alih percakapan ("ayo kita bahas"), gambarnya berubah drastis: setiap model menjadi jauh lebih cenderung menyetujui pernyataan yang dalam dialog akan ia bantah. Ini menunjukkan bahwa sikap menyenangkan hati bukanlah sifat bawaan, melainkan perilaku yang bergantung pada konteks.
Perbedaan ini penting bagi para praktisi: inti model yang sama bisa berperilaku berbeda tergantung pada bagaimana permintaan disusun. Karena itu, saat mengevaluasi keamanan, sebaiknya tidak hanya melihat "rata-rata" sikap menyenangkan hati, tetapi juga fluktuasinya dalam berbagai skenario.
Mengapa ini penting dan apa selanjutnya
Pander Score memberikan alat yang lebih halus untuk audit AI dibandingkan metrik sebelumnya. Ia memungkinkan untuk melacak seberapa kuat model menyesuaikan penilaiannya dengan lawan bicara, dan mendeteksi lebih awal distorsi yang tidak terlihat dalam analisis biner. Pembaruan benchmark secara berkala memberi kesempatan untuk membandingkan berbagai generasi model dan mengikuti tren.
Selain itu, pendekatan ini mengangkat pertanyaan: di mana batas antara perilaku kontekstual yang sehat dan kepatuhan epistemik? Sebab, sebagian adaptasi terhadap opini lawan bicara mungkin wajar dalam dialog, tetapi hilangnya posisi sendiri sepenuhnya — sudah menjadi sinyal yang mengkhawatirkan.
Metrik ini tidak menyelesaikan masalah sycophancy, tetapi membuatnya terukur. Dan mengukur masalah adalah langkah pertama untuk belajar mengendalikannya.
