الوكلاء الذكيون المعاصرون يعملون بشكل متزايد في وضع الحوار: يضع المستخدم المهمة، ويتجه الوكيل إلى الأدوات، ويعيد النتيجة، ثم يقوم الشخص بتوضيح الطلب أو تصحيحه. هذا التفاعل متعدد الخطوات يصعب تقييمه، لأنه في النهاية لا يوجد سوى النتيجة النهائية. وهي لا تُظهر أي إجراءات الوكيل ساعدت حقًا، وأيها كانت زائدة عن الحاجة.
لماذا لا تكفي النتيجة وحدها
في التعلم المعزز لمثل هؤلاء الوكلاء، يُستخدم عادةً ما يُعرف بالـ rollout: ينفذ الوكيل سلسلة من الإجراءات، ثم يحصل على مكافأة مقابل النتيجة النهائية. هذا النهج مريح، لكنه خشن إلى حد ما. التوضيح الناجح للطلب، والخطأ الواضح ثم التصحيح اللاحق يحصلان على نفس القدر من الائتمان، رغم أن مساهمتهما في النتيجة مختلفة تمامًا. ولهذا السبب، يتعلم الوكيل بشكل أبطأ ولا يفهم دائمًا أي إجراء محدد أدى إلى النجاح.
يلفت مؤلفو الدراسة الجديدة الانتباه إلى مصدر قيّم للإشارات غالبًا ما يتم تجاهله — وهو الرد التالي للمستخدم. عندما يتخذ الوكيل خطوة تالية، يتفاعل الشخص: يوضح المهمة، أو يعبر عن عدم الرضا، أو يؤكد الإجابة. هذا الرد ليس مجرد سياق للخطوات التالية، بل هو تغذية راجعة محلية حول جزء التفاعل الذي تم تنفيذه للتو.
كيف يعمل FACA
يحوّل أسلوب FACA (Feedback-Aware Credit Assignment) رد المستخدم إلى إشارة تعلم كاملة. الفكرة هي مطابقة كل رد فعل مع جزء محدد من إجراءات الوكيل، ثم حساب الميزة المحلية لهذا الرد — أي مدى تفوقه على المتوقع في هذا السياق. يتم تطبيع هذه الميزة وإضافتها إلى الميزة النهائية القياسية للنتيجة. ولا يتطلب ذلك أي ناقد إضافي أو rollouts جديدة — كل شيء يُحسب من البيانات المجمعة بالفعل.
هذا المزيج يمنح الوكيل تقييمًا تقريبيًا للنتيجة وإشارات وسيطة أكثر دقة. والمكافأة الإضافية هي أن الأسلوب لا يعقّد الاستدلال: كل الإشارات الإضافية تُستخرج من الحوارات الموجودة بالفعل، مما يجعل تطبيقه سهلاً في الأنظمة الحقيقية.
نتائج التجارب
قارن الباحثون FACA مع نهج Interactive GRPO، الذي يأخذ في الاعتبار النتيجة فقط. تم التدريب في ظروف متطابقة: نفس المحاكي، نفس الحوار المرئي، نفس التهيئة والتحسين. في تسعة مجالات من عائلة τ، حسّن FACA متوسط النتيجة بمقدار 5.91 نقطة مئوية لنموذج 8B وبمقدار 10.22 لنموذج 14B. تم الحصول على كل مؤشر من ثلاثة عمليات تدريب مستقلة.
جاء أكبر مكسب في مجال Telecom. أظهرت تجربة إضافية مع عشوائية قطبية ردود المستخدم أنه بالنسبة لنموذج 8B، يختفي هذا المكسب تمامًا. وهذا يؤكد: الإشارة تحمل معلومات مفيدة، وليست مجرد إضافة ضوضاء. في وضع zero-shot على معايير Pare-Bench وCo-Gym، تحافظ النتائج على نفس الترتيب.
الاستنتاجات
توضح الدراسة بوضوح أن رد المستخدم التالي هو أكثر من مجرد سياق. فهو يقدم ائتمانًا محليًا رخيصًا يحسّن بشكل ملحوظ تعلم الوكلاء للتفاعل متعدد الخطوات. يقدم FACA طريقة بسيطة وفعالة لاستخراج هذه الإشارة دون إعادة هيكلة كبيرة لعملية التعلم. ونتيجة لذلك، يفهم الوكلاء بشكل أفضل أي الإجراءات تقرّبهم فعليًا من الهدف، وأيها يستحق إعادة النظر.
