Kegagalan konteks sebagai objek analisis
Halusinasi pada LLM berkaitan dengan pertukaran konteks yang terganggu antar-token selama generasi kausal. Hubungan ini diteliti dalam makalah arXiv:2609.21096, yang terbit pada 17 September 2026. Penulisnya adalah Amir Jalilifard, Anderson Rocha, Eric Wong, Marcos Medeiros Raimundo.
Makalah ini menganalisis pola topologis aliran informasi di dalam graf perhatian. Tujuannya adalah membedakan jawaban yang berhalusinasi dan yang tidak.
Elemen kunci pendekatan ini:
- Objek analisisnya adalah graf perhatian, bukan teks jawaban yang sudah jadi.
- Indikatornya adalah topologi aliran informasi antar-token.
- Tugasnya adalah memisahkan jawaban yang berhalusinasi dan yang tidak.
Kesimpulan: pertukaran konteks yang terganggu meninggalkan jejak struktural yang dapat diukur dalam graf perhatian.
Kelengkungan Forman-Ricci dan hambatan informasi
Pengukuran utama dalam makalah ini adalah kelengkungan Forman-Ricci. Pengukuran ini mengidentifikasi pola struktural yang menunjukkan adanya hambatan informasi dalam graf perhatian.
Metode ini memperhitungkan karakteristik aliran informasi pada kepala perhatian yang bersifat semi-lokal dan global. Karakteristik ini berkaitan dengan jawaban yang berhalusinasi.
Hal-hal yang masuk dalam perhitungan:
- Karakteristik semi-lokal aliran kepala perhatian.
- Karakteristik global aliran kepala perhatian.
- Hubungan karakteristik ini dengan jawaban yang berhalusinasi.
Kriteria praktis: penilaian menyeluruh terhadap aliran, termasuk karakteristik semi-lokal dan global, memberikan nilai tambah.
Tiga ciri jawaban yang berhalusinasi
Jawaban yang berhalusinasi memiliki pola kerja perhatian yang khas. Pola ini paling terlihat pada lapisan terakhir transformer.
| Pola | Gambaran aliran informasi | Paling terlihat di |
|---|---|---|
| Ketergantungan berlebihan pada self-attention | Token berputar pada dirinya sendiri alih-alih bertukar konteks | Lapisan terakhir transformer |
| Pengambilan konteks yang tersebar | Informasi dari token-token sebelumnya dikumpulkan tanpa fokus | Lapisan terakhir transformer |
| Kompresi informasi yang berlebihan | Aliran konteks kehilangan detail | Lapisan terakhir transformer |
Kesimpulan: tiga pola perhatian yang berbeda mengarah pada hal yang sama—pertukaran konteks yang terganggu.
Pemeriksaan satu kali dibandingkan pendekatan dasar
Metode ini dievaluasi pada beberapa LLM dan tolok ukur yang umum digunakan. Pendekatan satu kali secara konsisten mengungguli pendekatan dasar yang ada pada dua tolok ukur deteksi halusinasi.
Pendekatan dasar mengandalkan indikator perhatian atau beberapa jawaban. Metode ini menunjukkan hasil yang kompetitif pada berbagai arsitektur LLM.
| Pendekatan | Dasar | Hasil evaluasi |
|---|---|---|
| Metode berdasarkan kelengkungan Forman-Ricci | Indikator topologis graf perhatian | Mengungguli pendekatan dasar pada dua tolok ukur; hasil kompetitif pada berbagai arsitektur LLM |
| Pendekatan dasar berbasis perhatian | Indikator perhatian | Dikalahkan pada dua tolok ukur |
| Pendekatan dasar berbasis beberapa jawaban | Beberapa jawaban | Dikalahkan pada dua tolok ukur |
Kriteria praktis: pemeriksaan satu kali tidak memerlukan beberapa jawaban dan dapat diterapkan pada berbagai arsitektur LLM.
