Orang Dapat Dipahami, LLM Tidak: Para Ahli Gagal Menjelaskan Logika Model
Ketika kita melihat hasil tes, tampak wajar untuk berasumsi bahwa kecerdasan buatan memecahkan masalah "seperti manusia": menggunakan konsep, aturan, dan penalaran yang sama. Namun, penelitian baru mempertanyakan asumsi ini. Para ilmuwan menemukan bahwa struktur tersembunyi yang menentukan jawaban LLM, dalam banyak kasus, tidak dapat diinterpretasikan oleh manusia — bahkan oleh para ahli di bidangnya.
Apa yang sebenarnya diuji
Para penulis penelitian (arXiv:2608.17810) — Alona Strugatski, Likol Zeinfeld, Jason Cooper, dan rekan-rekan mereka — mengambil jawaban dari manusia dan enam LLM yang berbeda untuk tugas penalaran kuantitatif dan kimia. Dengan menggunakan analisis faktor eksploratori, mereka mengidentifikasi faktor laten tersembunyi untuk setiap kelompok yang diduga mendasari keberhasilan dalam menyelesaikan tugas-tugas tersebut.
Para ahli materi kemudian mempelajari struktur yang dihasilkan secara buta dan mencoba menghubungkan faktor-faktor tersebut dengan makna pedagogis: misalnya, "kemampuan bekerja dengan rumus" atau "pemahaman stoikiometri". Format buta menghilangkan petunjuk — para spesialis tidak tahu apakah grafik tersebut berasal dari manusia atau model.
Hasil: Kesenjangan dalam interpretabilitas
Para ahli hampir tanpa masalah memahami faktor-faktor yang diperoleh dari jawaban manusia. Sebagian besar konstruk mendapat penjelasan yang bermakna, yang mudah diterjemahkan menjadi rekomendasi untuk pembelajaran atau diagnosis.
Dengan LLM, gambarnya berbeda:
- Dalam penalaran kuantitatif, para ahli gagal menginterpretasikan secara bermakna satu pun faktor yang diidentifikasi untuk model.
- Dalam kimia, situasinya sedikit lebih baik, tetapi masih jauh dari ideal: hanya sekitar setengah dari struktur yang berhasil dijelaskan.
Apa artinya ini
Para penulis menarik kesimpulan penting: ketika LLM menunjukkan hasil tinggi pada tes, itu tidak berarti mereka bernalar dengan cara yang kita kenal. Model dapat menemukan cara yang efisien secara statistik, tetapi sepenuhnya "asing" bagi manusia untuk memecahkan masalah. Mekanisme internal mereka bekerja pada tingkat pola yang tidak membawa makna pedagogis atau kognitif yang dapat dipahami.
Pengamatan ini menantang praktik umum ketika orang mencoba menarik kesimpulan tentang tingkat pengetahuan atau kompetensi dari hasil AI. Jika kita tidak dapat menjelaskan konstruksi apa yang mendasari jawaban, kita berisiko menghubungkan kemampuan yang tidak ada pada model — atau sebaliknya, melewatkan keterbatasan nyata.
Ke mana harus melangkah selanjutnya
Penelitian ini tidak menyatakan bahwa menginterpretasikan LLM mustahil secara prinsip. Penelitian ini hanya menunjukkan bahwa pendekatan klasik yang diciptakan untuk mempelajari kognisi manusia tidak dapat langsung diterapkan pada model. Mungkin perlu mengembangkan metode analisis yang benar-benar baru — yang memperhitungkan sifat "non-manusia" dari struktur laten.
Sementara itu, pertanyaan tetap terbuka: jika para ahli tidak dapat menjelaskan logika model, dapatkah kita mengandalkan penggunaannya dalam pendidikan dan penilaian pengetahuan? Jawabannya, kemungkinan besar, akan membutuhkan peninjauan ulang baik pendekatan untuk menguji AI maupun ekspektasi kita terhadap "kecerdasan" mesin.
