فشل السياق بوصفه موضوعًا للتحليل
ترتبط الهلوسات في نماذج LLM باضطراب تبادل السياق بين الرموز أثناء التوليد السببي. وتبحث هذه الصلة دراسة arXiv:2609.21096، الصادرة في 17 سبتمبر 2026. المؤلفون هم Amir Jalilifard وAnderson Rocha وEric Wong وMarcos Medeiros Raimundo.
تحلل الدراسة الأنماط الطوبولوجية لتدفقات المعلومات داخل رسوم الانتباه. والهدف هو التمييز بين الإجابات المُهلوسة وغير المُهلوسة.
العناصر الأساسية للنهج:
- موضوع التحليل هو رسم الانتباه، لا نص الإجابة النهائي.
- السمة هي طوبولوجيا تدفقات المعلومات بين الرموز.
- المهمة هي الفصل بين الإجابات المُهلوسة وغير المُهلوسة.
الخلاصة: يترك اضطراب تبادل السياق أثرًا بنيويًا قابلًا للقياس في رسم الانتباه.
انحناء Forman-Ricci واختناقات المعلومات
المقياس الأساسي في الدراسة هو انحناء Forman-Ricci. وهو يكشف الأنماط البنيوية التي تشير إلى اختناقات المعلومات في رسوم الانتباه.
تأخذ الطريقة في الحسبان الخصائص شبه المحلية والعالمية لتدفق المعلومات عبر رؤوس الانتباه. وترتبط هذه الخصائص بالإجابات المُهلوسة.
ما يدخل في الحساب:
- الخصائص شبه المحلية لتدفق رؤوس الانتباه.
- الخصائص العالمية لتدفق رؤوس الانتباه.
- ارتباط هذه الخصائص بالإجابات المُهلوسة.
المعيار العملي: تأتي القيمة من تقييم التدفق ككل، بما يشمل الخصائص شبه المحلية والعالمية.
ثلاث علامات على الإجابة المُهلوسة
تتميز الإجابات المُهلوسة بأنماط تشغيلية مميزة للانتباه. وتظهر هذه الأنماط بأوضح صورة في الطبقة الأخيرة من المحوّل.
| النمط | شكل تدفق المعلومات | أين يظهر بأوضح صورة |
|---|---|---|
| الاعتماد المفرط على الانتباه الذاتي | تنغلق الرموز على نفسها بدلًا من تبادل السياق | الطبقة الأخيرة من المحوّل |
| استخلاص السياق بصورة مشتتة | تُجمع المعلومات من الرموز الأسبق دون تركيز | الطبقة الأخيرة من المحوّل |
| الضغط المفرط للمعلومات | يفقد تدفق السياق تفاصيله | الطبقة الأخيرة من المحوّل |
الخلاصة: تفضي أنماط الانتباه الثلاثة المختلفة إلى نتيجة واحدة — اضطراب تبادل السياق.
فحص بتمريرة واحدة مقارنةً بالأساليب الأساسية
قُيّمت الطريقة على عدة نماذج LLM ومعايير قياس شائعة. ويتفوق نهج التمريرة الواحدة باستمرار على الأساليب الأساسية الحالية في معيارين لاكتشاف الهلوسات.
تعتمد الأساليب الأساسية على سمات الانتباه أو على إجابات متعددة. وتحقق الطريقة نتائج تنافسية عبر معماريات LLM المختلفة.
| النهج | الأساس | نتيجة التقييم |
|---|---|---|
| الطريقة القائمة على انحناء Forman-Ricci | السمات الطوبولوجية لرسوم الانتباه | تتفوق على الأساليب الأساسية في معيارين؛ وتحقق نتائج تنافسية عبر معماريات LLM المختلفة |
| الأساليب الأساسية القائمة على الانتباه | سمات الانتباه | تم التفوق عليها في معيارين |
| الأساليب الأساسية القائمة على إجابات متعددة | إجابات متعددة | تم التفوق عليها في معيارين |
المعيار العملي: لا يتطلب الفحص بتمريرة واحدة إجابات متعددة، ويمكن تطبيقه على معماريات LLM المختلفة.
