لماذا الثقة الزائفة لنماذج اللغة الكبيرة ليست مجرد خلل برمجي
تمكنت نماذج اللغة الحديثة من صياغة الأفكار بسلاسة وإقناع. لكن خلف هذا الإقناع غالبًا ما يختبئ ما يسميه الخبراء الهلوسة: حيث ينتج النموذج محتوى يبدو معقولًا لكنه مختلق تمامًا. بالنسبة للمستخدم، يبدو هذا كنص سلس وواثق — ولهذا السبب تحديدًا تكمن خطورة المشكلة.
معظم أدوات كشف الهلوسة التقليدية تعمل بشكل تقريبي. فهي تقيّم الاستجابة بأكملها أو الجمل الفردية، وتُبلغ بشيء مثل «يبدو أن هناك خطأ هنا». لكن لفهم الموضع المحدد الذي «اختلق فيه النموذج حقيقة»، نحتاج إلى فحص أدق — على مستوى الرموز الفردية. فقط الكشف على مستوى الرمز الواحد يسمح بتحديد الجزء الزائف بدقة والتدخل في التوليد بشكل مستهدف، دون المساس ببقية النص.
نماذج MoE تمنحنا مفتاح الحل بالصدفة
في البنى المعمارية مثل Mixture-of-Experts (MoE) يعمل مبدأ مثير للاهتمام: خلال مرور أمامي واحد، يتم تنشيط مجموعة فرعية متناثرة فقط من «الخبراء»، وليس الشبكة بأكملها. آلية التوجيه هي التي تقرر من يتم استدعاؤه. وفي هذه اللحظة تحديدًا تنشأ إشارات داخلية غير موجودة في البنى الكثيفة:
- إنتروبيا الموجّه — مدى «عدم يقين» النموذج بشأن الخبير الذي يجب اللجوء إليه؛
- خلافات الخبراء — مدى تباعد نتائجهم الوسيطة؛
- أنماط استخدام الخبراء — أي المتخصصين يتم تفعيلهم أكثر.
سابقًا، نادرًا ما استُخدمت هذه الإشارات للبحث عن الهلوسات. أظهر الباحثون جواو فونسيكا ورودريغو رودريغيز وباولو رومانو في مقالهم على arXiv:2608.17687 أن هذا كان إهمالًا: فالمؤشرات الخفية قادرة على كشف اللحظات التي يبدأ فيها النموذج بالاختلاق. نُشر العمل على arXiv في 18 أغسطس 2026.
InnerExpert: كاشف ينظر إلى داخل النموذج
الطريقة التي اقترحها المؤلفون، InnerExpert، تجمع بين نوعين من البيانات: إشارات خاصة بمعمارية MoE على مستوى التوجيه، والتمثيلات الداخلية القياسية للمحوّل. يُجمع كل ذلك في متجهات ميزات مضغوطة لكل رمز. بعد ذلك، يعالج مصنّف خفيف هذه المتجهات ويحدد ما إذا كان الرمز هلوسة.
السمة الرئيسية هي التعلم التلقائي. التسميات لتدريب الكاشف ينتجها خط أنابيب LLM-as-a-judge، حيث يقيّم نموذج لغوي واحد مخرجات نموذج آخر. لا حاجة لأي وسم يدوي. هذا يعني أن الكاشف يمكن تكييفه بسرعة مع الإصدارات الجديدة من نماذج التوليد، بمجرد إعادة تشغيل خط الأنابيب.
ماذا أظهرت الاختبارات
غطت التجارب خمس مجموعات بيانات وبنيّتين مختلفتين من معمارية MoE. في الاختبارات، تفوق InnerExpert باستمرار على الكاشفات الموجودة. أفضل النتائج بلغت 0.91 AUROC على مستوى الاستجابة الكاملة و0.76 AUROC على مستوى الرموز الفردية. والأهم أن ذلك يتطلب مرورًا أماميًا واحدًا فقط — دون الحاجة إلى تشغيل نماذج تحقق إضافية أو عمليات توليد متكررة.
النتيجة العالية على مستوى الاستجابة مفيدة للتصفية التقريبية. لكن القيمة الحقيقية تكمن في النتيجة على مستوى الرمز: فهي تسمح بتحديد الأجزاء الزائفة من النص بدقة، وإعادة كتابتها أو إبرازها للمستخدم على سبيل المثال. هذا لم يعد «خطأ في مكان ما»، بل موضع محدد في الاستجابة.
لماذا هذا مهم
تبقى الهلوسات أحد العوائق الرئيسية أمام اعتماد نماذج اللغة الكبيرة في الطب والقانون والمالية وغيرها من المجالات الحساسة للأخطاء. القدرة على الاطلاع على الإشارات الداخلية للنموذج ورؤية «تردده» مسبقًا — خطوة عملية إضافية نحو توليد شفاف. المؤشرات الخفية لا تحل المشكلة تمامًا، لكنها توفر أداة عملية متاحة بالفعل.
من المثير للاهتمام أيضًا أن تشخيص الهلوسات وُلد من خصائص البنية المعمارية نفسها. صُممت نماذج MoE من أجل السرعة والكفاءة، لكن بنيتها الداخلية أثبتت فائدتها بشكل غير متوقع في مراقبة الجودة. من شبه المؤكد أن الأبحاث المستقبلية ستتعمق أكثر — نحو إشارات أدق داخل الخبراء وآليات التوجيه.
