عن ماذا تتحدث هذه المقالة
عندما يحل نموذج لغوي كبير مسألة منطقية أو رياضية معقدة، فإن عملية التوليد ليست مجرد إخراج متسلسل للرموز. كل خطوة تعتمد على حالة داخلية يحتفظ فيها النموذج بالشرط والنتائج الوسيطة والروابط بينها. تستخدم نماذج LLM القوية في الاستدلال هذه المساحة بكفاءة، ولكن حتى هي تتعرض لأعطال. غالبًا ما تكمن المشكلة ليس في نقص المعرفة، بل في أن الآليات المعرفية المطلوبة — التحقق الذاتي، إعادة صياغة المسألة، العودة إلى الاستنتاجات السابقة — لا يتم تفعيلها في الوقت المناسب.
بحث جديد، ظهرت نسخته الأولى على arXiv في مايو 2026، والنسخة النهائية في أغسطس، تم قبوله في مؤتمر EMNLP 2026. قدم المؤلفون إطار عمل Latent Reward Steering (LRS). وهي طريقة تكيفية في زمن الاستدلال: لا تغير نص الاستعلام ولا تضيف إليه تعليمات، بل تؤثر على التمثيلات الداخلية للنموذج. في جوهرها، يتعلم النظام "إصلاح" مسار الاستدلال في اللحظة التي يرى فيها أنه سار في الاتجاه الخاطئ.
لماذا التلميحات السلوكية غير كافية
الطريقة الأكثر شيوعًا لتحسين استدلال نماذج LLM هي أن نطلب منها صراحةً التصرف بطريقة معينة: "قسّم المهمة إلى خطوات"، "تحقق من نفسك"، "فكر أولاً ثم أجب". هذه الأساليب تتحكم في السلوك على المستوى الخارجي النصي. إنها تفترض وجود سيناريو عالمي مفيد بنفس القدر لجميع الأخطاء. لكن في الممارسة العملية، تكون الأعطال مختلفة تمامًا: قد يسيء النموذج فهم الشرط، أو يفقد تفصيلًا مهمًا، أو يختار طريقة غير مناسبة، أو يخطئ في الحسابات في الخطوة الأخيرة.
في الوقت نفسه، تختلف النماذج المختلفة — وحتى النموذج الواحد في محاولات مختلفة — في طريقة ارتكاب الأخطاء. التلميح المحدد مسبقًا لا يراعي نوع المهمة ولا الحالة الحالية للاستدلال ولا خصائص نموذج LLM المحدد. في بعض الحالات يساعد، وفي أخرى يكون عديم الفائدة، وأحيانًا ضارًا، لأنه يجبر النموذج على اتباع قالب ميكانيكيًا بدلاً من التكيف مع المسار الفعلي للفكر.
كيف يصحح LRS مسار الاستدلال
بدلاً من إعطاء النموذج توصيات نصية، يعمل LRS على مستوى الحالات الكامنة التي يولدها النموذج أثناء الاستدلال. هذه الحالات لا تحمل فقط محتوى الخطوات، بل أيضًا مؤشرات دقيقة على مدى ثقة النموذج في تقدمه نحو الإجابة. لجعل هذه المؤشرات قابلة للتحكم، يتم استخدام مُشَفِّر ذاتي متناثر.
يقوم SAE بتحليل التنشيطات الكثيفة للنموذج إلى عدد صغير من المكونات القابلة للتفسير. جزء من هذه المكونات يتوافق مع سلوكيات معرفية مفيدة، مثل التحقق الوسيط أو مراجعة الاستنتاج. وهذا هو بالضبط ما يستهدفه تأثير LRS. هذا النهج يسمح بالتأثير على "تفكير" النموذج بدقة أكبر مما هو ممكن من خلال التعليمات اللفظية.
تدريب نموذج المكافأة الكامن
للتمييز بين الحالات الداخلية الناجحة والفاشلة، يدرب المؤلفون نموذج مكافأة منفصلًا. يستقبل هذا النموذج ليس الإجابة النهائية، بل الحالات الكامنة الوسيطة ويقيم مدى قربها من النتيجة الصحيحة. كبيانات تدريب، تُستخدم مسارات الاستدلال الكاملة المصنفة حسب صحة الإجابة. بهذه الطريقة، يتعلم نموذج المكافأة التنبؤ مسبقًا ما إذا كان الجزء الحالي من المسار سيؤدي إلى النجاح.
التصحيح عبر تدرج المكافأة
عندما يكتشف LRS أثناء التوليد حالة تبدو غير واعدة، فإنه يحسب تدرج إشارة المكافأة بالنسبة لمكونات هذه الحالة. يشير التدرج إلى الاتجاه الذي يجب تحويل الحالة الكامنة فيه لزيادة احتمالية الاستمرار الصحيح. السمة الرئيسية لـ LRS هي أن هذا الاتجاه غير محدد مسبقًا ولا يُشتق من "قواعد ثابتة للاستدلال الجيد". إنه يُحسب في الوقت الفعلي لكل حالة محددة، لذلك تتكيف الطريقة مع النموذج والمهمة وخصوصية الخطأ الحالي.
بوابة المكافأة والثقة
التدخل في كل خطوة سيكون محفوفًا بالمخاطر: التأثير الخارجي المستمر قد يخل بالتوليد الطبيعي. لذلك يستخدم LRS بوابة مكافأة وثقة. إنها تسمح بالتصحيح فقط لتلك الحالات التي يشير إليها إشارة المكافأة على أنها هشة. إذا تم تقييم الحالة الحالية على أنها واثقة، لا يحدث أي تدخل. هذا النهج الانتقائي يقلل من الآثار الجانبية ويحافظ على طبيعية الاستدلال عندما يكون النموذج ناجحًا بالفعل.
ماذا أظهرت التجارب
اختبر المؤلفون LRS على عدة نماذج LLM استدلالية كنماذج أساسية وعلى مجموعة من المعايير القياسية. قورنت الطريقة بأساليب أساسية مختلفة، وفي معظم التكوينات أعطى LRS تحسنًا ثابتًا في الدقة. المهم أن التأثير الإيجابي لم يكن حالة معزولة: فقد تكرر عند تغيير كل من النموذج ونوع المهام.
أظهر التحليل اللاحق للنتائج أن التحسينات لا تقتصر على "إطالة" الإجابات أو تغيير أسلوب التوليد. اكتشف الباحثون أن LRS يعزز ضمنيًا السلوكيات المعرفية التي تُحاول عادةً استثارتها بالتلميحات النصية. يعود النموذج في كثير من الأحيان إلى الاستنتاجات الوسيطة الخاطئة، ويحلل الشروط بدقة أكبر، ويظهر مسار استدلال أكثر اتساقًا. أي أن الطريقة تعمل بالفعل من خلال الحالات الداخلية، وليس من خلال القوالب الخارجية.
لماذا هذا مهم
LRS مثير للاهتمام ليس فقط بسبب النتائج المحددة، بل بسبب تغيير المبدأ الأساسي للتحكم في الاستدلال. بدلاً من البحث عن صيغة مثالية للتلميح، يقترح الباحثون تعلم "تصحيح" النموذج بدقة في فضاء تمثيلاته الخاصة. هذا النهج يحتمل أن يكون أكثر عالمية: فهو لا يتطلب وصف جميع السيناريوهات المعرفية الممكنة مسبقًا، بل يجد بنفسه أي جانب من جوانب التفكير يحتاج إلى تصحيح في لحظة معينة.
حاليًا، LRS هو إطار بحثي وليس منتجًا جاهزًا. أتاح المؤلفون الكود المصدري حتى تتمكن الفرق الأخرى من إعادة إنتاج التجارب وتكييف الطريقة مع مهامها. لكن الاتجاه واضح بالفعل: إدارة استدلال نماذج LLM تنتقل تدريجيًا من مستوى الكلمات إلى مستوى الآليات الكامنة التي تحدد كيف يفكر النموذج بالضبط، وليس فقط ما يقوله.
