لماذا يتعثر التعلم المعزز بسبب التسميات
يُعتبر التعلم المعزز (RL) اليوم أحد أكثر الأساليب الواعدة لتحسين الاستدلال في النماذج اللغوية والنماذج اللغوية البصرية. المنطق بسيط: يجرب النموذج استراتيجيات مختلفة، ويحصل على مكافأة مقابل الأفعال الصحيحة، ويتعلم تدريجيًا التفكير بشكل أفضل. لكن هناك مشكلة — لكي تكون المكافأة ذات معنى، نحتاج عادةً إلى إشارات دقيقة من الخارج: إجابات قابلة للتحقق، حلول مرجعية، سلاسل استدلال مُعلَّمة. كل هذا مكلف في إعداده، وبالنسبة للعديد من المهام، تتضاءل هذه البيانات باستمرار.
يحل نهج المكافأة الذاتية (self-rewarding) المشكلة جزئيًا، حيث يقوم النموذج بتقييم إجاباته الخاصة ثم يصحح سلوكه بناءً على ذلك. لكن هنا تنشأ حلقة مفرغة: إذا كان النموذج يعاني بالفعل من تحيزات أو اعتاد على إجابات دون المستوى الأمثل، فسيقوم بتعزيز هذه الأخطاء نفسها. يؤدي التعلم على التغذية الراجعة الذاتية بسرعة إلى الرتابة: تصبح الإجابات متشابهة، وينخفض التنوع، وفي أسوأ الحالات يحدث الانهيار — يعلق النموذج في مجموعة ضيقة من الأنماط ويتوقف عن التطور.
كيف يعمل Co-RL
يقترح مؤلفو preprint arXiv:2608.17253 إطار عمل Co-RL الذي يكسر هذه الحلقة المفرغة. بدلاً من نموذج واحد يتعلم من تقييماته الخاصة، يقوم Co-RL بتدريب عدة نماذج مستقلة تمامًا في وقت واحد — لا تتشارك في المعاملات المشتركة ولا تطلع على أوزان بعضها البعض. يحصل كل نموذج على مكافآت ليس من نفسه، بل من أعضاء آخرين في المجموعة (peers). في جوهر الأمر، تستدل النماذج وتنتقد وتقيّم بعضها البعض، ويُبنى التعلم على هذه التقييمات «الخارجية».
يغيّر هذا التبادل للتغذية الراجعة الديناميكية جذريًا. نادرًا ما تتطابق أخطاء النماذج المختلفة تمامًا — لكل نموذج نقاط ضعفه وأنماط تفكيره وتحيزاته الخاصة. لذلك عندما يقيّم نموذج إجابة نموذج آخر، فإن احتمال «تأكيد» الخطأ المنهجي للآخر يكون أقل بكثير. هذا يتجنب حلقات التغذية الراجعة ذاتية التعزيز التي تكسر نهج المكافأة الذاتية.
التنوع كمكوّن رئيسي
الفكرة الأساسية في Co-RL هي أن النجاح يعتمد بشكل مباشر على تنوع المجموعة. إذا كانت جميع النماذج متطابقة، فستتفق مع بعضها البعض ببساطة ولن نحصل على أي ميزة. لذلك يقترح المؤلفون ثلاثة مستويات من عدم التجانس:
- عائلات نماذج مختلفة — على سبيل المثال، الجمع بين بنى من جهات تصنيع مختلفة حتى لا ترث أخطاء مشتركة.
- أحجام مختلفة — النماذج الكبيرة والمدمجة ترى المهمة بشكل مختلف، وتقييماتها تكمل بعضها البعض.
- عينات تدريب مُعاد صياغتها — تُقدَّم نفس الأمثلة بصيغ مختلفة، مما يقلل من ارتباط الأخطاء الناتجة عن نفس صياغة المهمة.
يقلل هذا التنوع في المجموعة من الأخطاء المترابطة، التي تشكل خطورة لأنها تتراكم من تكرار إلى آخر. كما يتم الحفاظ على التنوع السلوكي — لا تنهار النماذج إلى أسلوب استدلال موحد، بل تستمر في استكشاف أساليب مختلفة.
ماذا أظهرت التجارب
اختبر المؤلفون Co-RL على مهام نصية ومتعددة الوسائط، وقارنوه بالنماذج الأساسية والأساليب الخالية من التسميات (label-free) دون الوصول إلى التسميات المرجعية (ground-truth). على سبعة معايير نصية لنماذج اللغة الكبيرة (LLM) بلغ متوسط التحسن 3.0–8.6%، وعلى أربعة معايير متعددة الوسائط لنماذج اللغة البصرية (VLM) — 2.3–7.2%. وفي الوقت نفسه، لا يتفوق Co-RL على الأساليب المماثلة الخالية من التسميات فحسب، بل في بعض الحالات يضاهي التعلم الخاضع للإشراف أو حتى يتفوق عليه — رغم أنه لا يحتاج إلى بيانات مُعلَّمة إطلاقًا.
هذه إشارة مهمة للصناعة: ربما المستقبل ليس في جمع تعليقات باهظة الثمن بلا نهاية، بل في تنظيم تفاعل النماذج بشكل صحيح. كلما زاد عدد الوكلاء المشاركين في تقييم بعضهم البعض وكلما زاد اختلافهم، أصبح التعلم أكثر استقرارًا وجودة.
استنتاجات عملية
يبدو Co-RL خطوة مقنعة نحو أنظمة ذاتية التعلم حقًا. لا يتطلب تسميات، ولا يحترق على تغذيته الراجعة الذاتية، وفي الوقت نفسه يحافظ على جودة عالية في الاستدلال. يلاحظ المطورون أن كود الإطار متاح للمجتمع — مما يعني أن النهج قابل للتكرار والتكيف مع المهام الخاصة اليوم.
بالطبع، تبقى أسئلة: على سبيل المثال، كيف نختار تكوين المجموعة الأمثل لمهمة محددة، وهل تدريب عدة نماذج في وقت واحد مكلف للغاية؟ لكن الفكرة نفسها — تدريب النماذج ليس منفردة بل في مجموعة حيث يقيّم كل منها الآخرين — تفتح اتجاهًا مثيرًا للاهتمام للبحث. ربما تقربنا هذه الآليات من أنظمة تتعلم التفكير بشكل طبيعي كما يتبادل البشر الخبرات فيما بينهم.
