المشكلة: الإجابة الصحيحة لا تعني بالضرورة الاستدلال الصحيح
تم تصميم معايير التقييم للأسئلة والأجوبة متعددة الخطوات بحيث تقيّم الإجابة النهائية فقط. ولهذا السبب، غالبًا ما تحصل نماذج اللغات الكبيرة على درجة حتى لو كانت الخطوات الوسيطة خاطئة أو غير مرتبطة تمامًا بالحقائق الفعلية. يُطلق على هذا السلوك اسم "الصحة الزائفة": الإجابة صحيحة، لكن مسار التفكير ليس كذلك. هذا الأمر خطير في التطبيقات العملية: يبدو النموذج موثوقًا، لكنه في موقف جديد قد يقوم بثقة مماثلة باستخلاص نتيجة غير صالحة.
اقترح الباحثون Daeyong Kwong وSoyoung Yoon وSeung-won Hwang من جامعة سيول الوطنية إطار عمل SAFE لحل هذه المشكلة. تم قبول العمل في مؤتمر EMNLP 2026، ويعود تاريخ آخر نسخة من المقالة إلى أغسطس 2026. الفكرة هي التحقق ليس فقط من النتيجة النهائية، بل من كل خطوة من خطوات الاستدلال — مباشرة أثناء توليدها.
ما الذي يقدمه SAFE
SAFE هو إطار عمل يعتمد على مبدأ "النموذج اللغوي الكبير كمدقّق". يقوم مدقّق خارجي بمراقبة عملية الاستدلال والتحقق من كل خطوة وسيطة مقابل المقاطع المقدمة وما استنتجه النموذج سابقًا. يختلف هذا النهج عن المخطط المعتاد حيث يتم تقييم الجودة بعد التوليد، بناءً على إجابة نهائية واحدة فقط.
السمة الرئيسية لـ SAFE هي تفكيك الاستدلالات إلى وحدات ذرّية. تمثل كل وحدة من هذه الوحدات ثلاثية من مخطط المعرفة: الفاعل، والعلاقة، والمفعول به. وهذا يجعل الخطوات قابلة للتحقق رسميًا: بدلاً من عبارة غامضة، يرى المدقّق علاقة محددة بين الكيانات يمكن مطابقتها مع المصدر.
كيف يعمل الإطار
الإعداد: تنظيف الإشراف عبر قيود مخطط المعرفة
في مرحلة التدريب، يقوم SAFE بتحليل البيانات من معايير التقييم. تحتوي العديد منها على أمثلة حيث لا يعتمد "المسار الصحيح" للاستدلال في الواقع على الحقائق. يمرر SAFE هذه الأمثلة عبر قيود مخطط المعرفة ويتجاهل السلاسل غير الصالحة. ونتيجة لذلك، تبقى فقط البيانات الموثوقة لتدريب المدقّق — تلك التي يتم فيها تأكيد كل خطوة فعليًا من المصادر.
الاستدلال: التحقق في كل خطوة
أثناء التوليد، يعمل المدقّق الخارجي في وضع الاتصال المباشر. بمجرد أن يقوم النموذج اللغوي الكبير باستنتاج وسيط، يتم التحقق منه: هل تتوافق الثلاثية مع الحقائق الواردة في المقاطع، وهل تتفق مع الخطوات السابقة؟ إذا تم اكتشاف استدلال غير صالح، يتلقى النموذج ملاحظات تصحيحية قبل أن ينتشر الخطأ أكثر على طول السلسلة. وهذا يسمح بإيقاف التدهور في مرحلة مبكرة، بدلاً من محاولة شرح "بأثر رجعي" لماذا يجب اعتبار الإجابة النهائية صحيحة.
النتائج والاستنتاجات
على ثلاثة معايير للأسئلة والأجوبة متعددة الخطوات، أظهر SAFE متوسط زيادة في الدقة بمقدار 8.8 نقطة مئوية. هذه النتيجة بحد ذاتها تؤكد الأطروحة الرئيسية: من الأفضل للنماذج ألا تكتفي بـ"التفكير بصوت عالٍ"، بل أن تحصل على رقابة على كل حلقة من حلقات الاستدلال.
لكن الأهم هو التحول في نموذج التقييم نفسه. فبدلاً من الحكم اللاحق "هل الإجابة صحيحة؟"، يقدم SAFE تحققًا خطوة بخطوة من الاستدلالات. هذا النهج يعكس بشكل أفضل الاحتياجات الحقيقية للأنظمة حيث تكون قابلية تتبع القرار مهمة.
الخلاصة
SAFE هو خطوة نحو نماذج لغوية كبيرة أكثر موثوقية يمكن استخدامها في المهام التي تتطلب استنتاجات مبررة. إن التحقق أثناء عملية التوليد، والاعتماد على مخطط المعرفة، والخطوات الذرّية تجعل الاستدلالات شفافة وقابلة للتحكم. بالنسبة لمطوري أدوات الذكاء الاصطناعي، هذه إشارة: المستقبل ليس للنماذج "الكبيرة والواثقة"، بل للأنظمة القادرة على التحقق من نفسها في كل خطوة.
