المكافأة القابلة للتحقق ونقطتها العمياء
أصبح التعلم المعزز القائم على المكافآت القابلة للتحقق وصفة مألوفة للنماذج اللغوية: هناك مهمة ذات إجابة قابلة للتحقق بشكل قاطع — الرياضيات، البرمجة، الأسئلة ذات الإجابة القصيرة — وهناك إشارة «حُلَّت / لم تُحَلّ». تعمل هذه المنظومة، لكن فيها ضعفًا معروفًا. فالمكافأة النهائية تقيّم النتيجة ككل، لا الطريق إليها. قد تحصل النموذج على نقطة لاستنتاج صحيح مبنيّ على مقدمات ملفّقة، وقد يفقد نقطة بالمثل لاستدلال سليم بصياغة نهائية موفّقة.
وهنا تحديدًا يكمن خطر الهلوسة. فإذا كانت المكافأة تعتمد فقط على التطابق النهائي، فلا حافز لدى السياسة لأن تكون دقيقة على الطريق — يكفي أن تخمّن الإجابة. ومن طرق تصحيح ذلك إضافة رقابة واقعية على مستوى العملية: التحقق من الادعاءات الوسيطة، لا من النتيجة فقط.
لكن نهج مستوى العملية يكشف عن مشكلة خاصة به. فعمليات التحقق من الوقائع تُجمَع وتُتوسَّط بشكل مُدمَج: تصل الإشارة دفعةً واحدة على المقطع بأكمله، ولا أحد يقيّم موثوقية عمليات التحقق نفسها. ونتيجة لذلك تنشأ فجوة بين ما جرى التحقق منه فعليًا وما جرى تحديثه فعليًا في السياسة.
التباسان بدلًا من مشكلة واحدة
يمنح مؤلفو العمل arXiv:2608.24350 (Qiming Xie, Wenjie Zheng, Xiangqing Shen, Rui Xia) هذه الفجوة اسمًا — «الإسناد الواقعي المُشوَّش للفضل» (noisy factual credit assignment) — ويفكّكونها إلى جانبين مستقلين.
- التباس تحديد موضع الفضل. ليس واضحًا أي رمز أو مقطع بعينه يُنسب إليه الفضل أو اللوم. جرى التحقق من الواقعة على مستوى الجملة، بينما يجري التحديث على مستوى الرمز — فلا تتطابق مستويا التفصيل، وتتشتت الإشارة.
- التباس موثوقية الفضل. ليس واضحًا إلى أي مدى يمكن الوثوق بعملية التحقق نفسها. فبعض الأحكام الواقعية موثوقة وقابلة للتكرار، وأخرى هشّة، تتوقف على السياق أو على صياغة بعينها. وبدون وزن للثقة تدخل هذه الأحكام في التدريب على قدم المساواة.
الجانب الثاني هو الأكثر بخسًا. فالمنظومات المعتادة في التعامل مع الإشارات الواقعية تتصرف كما لو كانت جميع عمليات التحقق على القدر نفسه من الجودة. وهذا غير صحيح في الواقع، فتبدأ عمليات التحقق الضعيفة بإفساد التحسين جنبًا إلى جنب مع القوية.
كيف يعمل FARCA
FARCA اختصار لـ Fact-Aligned Reliability-Aware Credit Assignment — إسناد الفضل المتوائم مع الوقائع والواعي بالموثوقية. وهو ليس نموذجًا جديدًا ولا مجموعة بيانات، بل إطار لتحسين السياسة: يعيد بناء الطريقة التي تتحول بها الرقابة الواقعية إلى إشارة تدريب.
مواءمة مستويات التفصيل
الخطوة الأولى هي التحديد الدقيق لموضع الفضل. الفكرة بسيطة في صياغتها وغير بديهية في تنفيذها: يجب مواءمة مستوى تفصيل التحقق من الوقائع مع مستوى تفصيل تحديثات السياسة. عندئذٍ لا تصل الإشارة الواقعية «متوسطًا على مستوى الإجابة بأكملها»، بل تُربط برموز محددة مسؤولة فعلًا عن ذلك الادعاء. وبدلًا من التوسيط الضبابي، تتلقى السياسة توجيهات دقيقة.
تقييم مدى الثقة بعملية التحقق
الخطوة الثانية هي أوزان الموثوقية. ولحسابها يقدّم المؤلفون الإسناد التقابلي للأدلة (counterfactual evidence attribution): ينظرون في مدى اعتماد الحكم الواقعي على المقطع الدليلي الرئيسي. فإذا أُزيل هذا الدليل أو استُبدل وتغيّر الحكم — فمعنى ذلك أن التحقق يستند إليه فعلًا، وأن هذه الإشارة تستحق ثقة أكبر. وإذا بقي الحكم على حاله بصرف النظر عن الدليل، فالادعاء على الأرجح ليس عن الأمر الذي نتصوره — ويهبط وزنه.
تُعدِّل الأوزان الناتجة بعد ذلك المكافآت الواقعية والمزايا المحلية للسياسة. والمعنى العملي: تحصل الإشارات غير الموثوقة المحتملة على صوت أقل عند التحديث، لا أن تُحجب كليًا. فهذه تصفية ناعمة بدل الاستبعاد الصارم — لا تفقد السياسة المعلومة، لكنها تكفّ عن اتباعها اتباعًا أعمى.
ما تُظهره التجارب
اختبر المؤلفون النهج على نماذج مختلفة وعلى عدة معايير تقييم تقيس الاستدلال الواقعي. والنتيجة المعلنة هي نمو ملحوظ في الواقعية مع الحفاظ على القدرات العامة على الاستدلال. والجزء الأخير هنا لا يقل أهمية عن الأول: فغالبًا ما تُشترى التحسينات في الواقعية بثمن تدهور مهارات أخرى، إذ يصبح النموذج أكثر حذرًا وأضعف في آن واحد. وهنا، وفقًا لبيانات المؤلفين، لا يحدث ذلك.
وتجدر الإشارة بشكل منفصل إلى أن الطريقة تبقى ضمن نمط التعلم المعزز بالمكافآت القابلة للتحقق — فهي لا تتطلب التخلي عن خط الأنابيب القائم ولا استبداله بشيء مختلف جذريًا. بل تُدمج كطبقة بين التحقق من الوقائع وتحديث السياسة.
ما الذي يترتب على ذلك
الفكرة الرئيسية للعمل أوسع من معمارية واحدة. فالنقاش حول واقعية النماذج يجري عادةً بمنطق «التحقق أو عدم التحقق». لكن حين تكون عمليات التحقق موجودة بالفعل، ينتقل السؤال المحوري: كيف تتحول نتيجتها إلى تدريب. والخطأ في هذا المفصل لا يبدو خطأً، بل يبدو كضجيج تدريب معتاد — ولذلك يبقى من السهل ألّا يُلاحَظ.
يبدو الإقرار بأن المصادر لا تُمنح الثقة بالقدر نفسه شبه بديهي على مستوى الحس السليم. لكنه لا يزال نادرًا في منظومات التعلم المعزز: إذ تُجمَع الإشارات في قدر واحد، ويُمحى الفرق بين دليل موثوق وتخمين عابر. وFARCA محاولة لإعادة هذا الفرق إلى المعادلة. أما مدى قابلية النهج للانتقال خارج المهام ذات الإجابة القابلة للتحقق، حيث لا يمكن تأكيد الواقعة أو نفيها بهذه السهولة، فسؤال مفتوح، وهو أيضًا الاتجاه الأكثر إثارة للاهتمام في الأعمال المقبلة.
