لماذا تكذب النماذج بثقة
تثير النماذج اللغوية الكبيرة الحديثة الإعجاب بقدرتها على الإجابة عن مختلف الأسئلة. لكن خلف هذه الثقة غالبًا ما يختبئ عيب خطير: قد يقدم النموذج إجابة جميلة ومترابطة بناءً على حقائق مختلقة. أحد الأسباب الرئيسية هو ما يسمى عدم تطابق المعرفة: في مرحلة ما قبل التدريب، يمتص النموذج كميات هائلة من البيانات، وفي مرحلة التدريب الإضافي لمهام محددة، يتم «برمجته» بتعليمات جديدة. ونتيجة لذلك، لا يفهم النموذج دائمًا أين ينتهي ما يعرفه حقًا وأين تبدأ منطقة الجهل.
اقترح باحثون من فريق Joosung Lee وزملاؤه نهجًا يساعد النماذج على قول «لا أعرف» بصدق عندما يتجاوز الإجابة حدود كفاءتها. تم قبول العمل كـ Findings of EMNLP 2026 وتم نشره على arXiv.
تقييم المعرفة على مستوى المثال المحدد
التحدي الرئيسي هو فهم ما إذا كان النموذج يعرف إجابة سؤال محدد، وليس «موضوعًا» بشكل عام. قد يكون النموذج ممتازًا في مجال واحد ولا يعرف شيئًا عن مجال مجاور. لذلك يقترح المؤلفون تقييم المعرفة بشكل فردي لكل استعلام.
لهذا الغرض، يتم استخدام الاستدلال متعدد العينات: يُطلب من النموذج عدة مرات بنفس السؤال، ثم يتم تحليل مدى استقرار واتساق إجاباته. إذا تكررت الإجابات بدرجة عالية من الثقة وتطابقت مع بعضها البعض — فمن المرجح أن النموذج «يعرف» الموضوع حقًا. إذا تغيرت الإجابات بشكل عشوائي أو قدم النموذج نسخًا مختلفة — فهذه إشارة إلى عدم وجود معرفة.
يوفر هذا النهج مؤشرًا أكثر موثوقية ودقة من الثقة المعتادة للنموذج في توليد واحد. يصبح أساسًا لمزيد من التدريب.
التدريب الإضافي مع مراعاة ما يعرفه النموذج بالفعل
لا يُستخدم مؤشر المعرفة الناتج كتقييم خارجي، بل كإشارة تحكم للتدريب الإضافي. الفكرة هي أن النموذج يجب أن يُدرَّب بشكل مختلف على أمثلة مختلفة:
- إذا كان النموذج يعرف الإجابة — يتم تعزيز إشارة التدريب لتثبيت السلوك الصحيح وعدم فقدان المهارات الموجودة.
- إذا كان النموذج لا يعرف الإجابة — يتم تغيير حجم الإشارة بشكل مختلف، ويتم تشجيع النموذج أيضًا على إعطاء إجابة صريحة «لا أعرف»، بدلاً من توليد نص عشوائي أو شبه معقول.
يساعد هذا النهج في تجنب الموقف الذي يؤدي فيه التدريب الإضافي على بيانات جديدة إلى «مسح» حدود معرفة النموذج وإجباره على الإجابة عن كل شيء، بما في ذلك ما لا يفهمه. بدلاً من ذلك، يتعلم النموذج التعرف على الاستعلامات التي تتجاوز مجال كفاءته والإبلاغ عنها بصدق.
كيفية قياس أن النموذج أصبح أكثر صدقًا
مجرد تقليل عدد الهلوسات ليس كافيًا — من المهم ألا يبدأ النموذج في رفض الإجابة بشكل جماعي على الأسئلة التي يعرفها بالفعل. لذلك اقترح الباحثون مقاييس خاصة لتقييم عدم اليقين. لا تقيّم هذه المقاييس الدقة على الأسئلة «من قاعدة المعرفة» فحسب، بل أيضًا قدرة النموذج على تمييز الأمثلة المعروفة عن غير المعروفة.
النتيجة الرئيسية للتجارب: تسمح الطريقة المقترحة للنموذج بالتعبير صراحة عن عدم اليقين عندما تكون المعرفة غير كافية، مع عدم فقدان الدقة على الأسئلة التي يمكنه الإجابة عنها. التمييز الدقيق بين المعروف وغير المعروف يحسن الأداء النهائي باستمرار — أي أن النموذج يصبح أكثر دقة وموثوقية.
الخلاصة
القدرة على قول «لا أعرف» ليست ضعفًا، بل جزء ضروري من التطبيق الآمن للنماذج اللغوية الكبيرة. تذكر طريقة التدريب الإضافي المرجح بالمعرفة: لمكافحة الهلوسات، ليس من الضروري «حشر» المزيد من الحقائق. يكفي تعليم النموذج تقييم حدوده الخاصة بصدق وعدم تجاوزها. يجعل هذا النهج النماذج أكثر فائدة في السيناريوهات الواقعية، حيث يكون الحصول على رفض صادق أفضل من الحصول على تضليل واثق.
