تتزايد عمليات «التدريب الإضافي» لنماذج اللغة الحديثة على المهام التي يمكن التحقق من إجاباتها آليًا: الرياضيات، البرمجة، المنطق. يُعرف هذا النهج باسم RLVR — التعلم المعزز بالمكافآت القابلة للتحقق. ومن بين الخوارزميات المستخدمة لهذا الضبط، يبرز GRPO بشكل خاص: فهو بسيط، ولا يتطلب نموذج ناقد منفصلًا، ويتميز بقابلية توسع جيدة. ومع ذلك، فإن ورقة بحثية حديثة (arXiv:2605.12969) تقدم نظرة مغايرة لـ GRPO وتُظهر أن دالته الهدف بعيدة عن المثالية. المؤلفون — فينغ تشانغ وزملاؤه — لا يكتفون بانتقاد النهج الحالي، بل يقترحون بديلًا باسم ConSPO.
لماذا أصبح GRPO المعيار الفعلي لـ RLVR
تبدأ الطرق الكلاسيكية مثل PPO بتدريب ناقد لتقييم أفضلية كل إجراء. في RLVR، غالبًا ما يكون هذا الناقد زائدًا عن الحاجة: لدينا بالفعل نتيجة قابلة للتحقق تقسم الإجابات إلى صحيحة وخاطئة. يستخدم GRPO هذا مباشرة. بالنسبة لموجه واحد، يولد النموذج عدة إجابات محتملة — تُسمى rollouts، ثم يحصل كل rollout على درجة من المدقق، وتُحسب الأفضلية كموقع نسبي داخل تلك المجموعة. يقلل هذا المخطط من التكاليف الحسابية ويبسط مرحلة ما بعد التدريب، لذلك يُستخدم على نطاق واسع في الممارسة العملية.
ولكن، كما يُظهر المؤلفون، لدى GRPO جانب خفي أيضًا. إذا نظرنا إلى رياضيات الخوارزمية، فإنه في الواقع يدرب النموذج على التمييز بين الإجابات «الجيدة» و«السيئة»: يتم تعظيم الفجوة المتوقعة بين درجات الـ rollouts الإيجابية والسلبية المُتحقق منها. هذه مهمة تمييزية كلاسيكية. ومن هذا المنظور تحديدًا يتضح لماذا الهدف الحالي لـ GRPO ليس مثاليًا.
قيدان في GRPO يعيقان التعلم
في إعادة الصياغة التباينية لـ GRPO، يحدد الباحثون قيدين نظاميين مدمجين في الدالة الهدف.
الدرجات البديلة غير متوافقة مع الاحتمالية
يولد النموذج الإجابات بالاعتماد على احتمالية تسلسل الرموز. لكن GRPO عند تحديث السياسة لا يحسّن هذه الاحتمالات مباشرة، بل يحسّن دالة بديلة مبنية على النسب المقيدة — وهي نسب محدودة بين السياسة الجديدة والقديمة. في الواقع، لا تُستخدم اللوغاريتمات الحقيقية لاحتمالات التسلسلات «كنقاط» للأمثلة الإيجابية والسلبية، بل تُستخدم كميات أخرى. ينشأ عدم توافق: الهدف الذي تحسّنه الخوارزمية لا يتطابق مع ما يحدد التوليد فعليًا. قد يؤدي هذا إلى عدم استقرار أو استخدام دون المستوى الأمثل للبيانات.
الائتمان لا يعتمد على صعوبة التمييز الحالية
يتعلق القيد الثاني بكيفية توزيع GRPO للتحديثات بين الـ rollouts. لا تلتفت الخوارزمية إلى مدى الاختلاف الكبير في الدرجات بين الأمثلة الإيجابية والسلبية في لحظة معينة. إذا كان أحد «السلبيات» قريبًا جدًا من مثال إيجابي بينما الآخر بعيد، فإن GRPO يتعامل معهما بشكل متطابق تقريبًا. هذا التعيين للائتمان غير الحساس للدرجات يعني أن النموذج لا يركز على الأزواج الأكثر إرباكًا والتي لم يتم فصلها جيدًا بعد. ونتيجة لذلك، قد يظل التعلم «يدور في مكانه» على الأمثلة السهلة، متجاهلًا الصعوبات الحقيقية.
ConSPO: دالة هدف تباينية للسياسة
للتغلب على كلا القيدين، يقترح المؤلفون طريقة ConSPO — التحسين التبايني للسياسة على مستوى التسلسلات. الاسم يشرح نفسه: يُعاد تصور GRPO كتعلم تبايني، ولكن مع سلسلة من التصحيحات المهمة.
أولًا، يعود ConSPO إلى الدرجات الطبيعية: بدلاً من الكميات البديلة، تُستخدم اللوغاريتمات الاحتمالية للتسلسلات، مُطبَّعة حسب الطول. هذا يتوافق بشكل أفضل مع عملية التوليد ويزيل مشكلة التقييمات غير المتوافقة مع الاحتمالية.
ثانيًا، تقارن الخوارزمية صراحةً الـ rollouts الإيجابية المُتحقق منها مع «المشتتات» السلبية داخل نفس المجموعة. يتم التحكم في تحديث السياسة بواسطة دالة جماعية مشابهة لـ InfoNCE — وهي تقنية قياسية من التعلم التبايني. تعمل هذه الدالة تلقائيًا على تضخيم التدرج للأزواج التي لم يتم فيها فصل الإجابة الإيجابية بشكل كافٍ عن السلبية، بينما تحظى السلبيات ذات الدرجات العالية بمزيد من الاهتمام. وبذلك تُحل مشكلة توزيع الائتمان غير الحساس.
ثالثًا، يطبق ConSPO هامشًا مُجدولًا حسب المنهج الدراسي. الهامش الذي يجب أن يفصل بين الأمثلة الإيجابية والسلبية يُشدَّد تدريجيًا مع تقدم التعلم. هذا يمنع النموذج من التوقف عند ما حققه: أولاً يتعامل مع الاختلافات السهلة، ثم يُجبر على دفع الفصل نحو حدود أدق فأدق.
النتائج والآفاق
اختبر المؤلفون ConSPO في ظروف متنوعة وعلى معايير استدلال صعبة. تُظهر النتائج أن الطريقة الجديدة تتفوق باستمرار على الأساليب الأساسية القوية. هذه إشارة مهمة للمجتمع: يمكن تحسين هدف GRPO المألوف إذا تعاملنا مع RLVR كمهمة تعلم تبايني، وليس مجرد تحسين للأفضليات النسبية.
بالطبع، ورقة بحثية واحدة لا تغلق الموضوع. لكن النظرة المقترحة تقدم أداة تحليل جديدة: بدلاً من اعتبار GRPO أمرًا مسلمًا به، يمكن للباحثين الآن تفكيكه إلى مكونات تباينية مفهومة وتحسين كل منها على حدة. بالنسبة للممارسين، هذا يعني ظهور طريقة قوية أخرى في ترسانة ما بعد التدريب، ذات قيمة خاصة في المهام التي يعطي فيها المدقق إشارة ثنائية واضحة.
