عندما يكون الحَكَم متحيزًا: الوكلاء ذاتية التعلم تتوقف عن التخلص من المهارات عديمة الفائدة
تخيّل وكيلًا يوسّع مكتبة مهاراته بنفسه: يجرب أساليب جديدة، يُبقي على الناجح منها، ويتخلص من عديم الفائدة. لكي يعمل هذا، نحتاج إلى آلية تمنع المكتبة من الامتلاء بالقمامة. في التصميم الحديث لهذه الوكلاء، يقوم skill retirement بهذا الدور — وهو قيد هيكلي يضمن أن ترسانة المهارات لن تصبح أسوأ من «عدم وجود مهارات إطلاقًا». لكن، كما أظهرت دراسة حديثة لمجموعة من الباحثين، لهذه الضمانة ثغرة خفية: فهي تعتمد على تقييم نزيه للجودة. وإذا كان التقييم يصدر عن حَكَم LLM، فالنزاهة غير مضمونة.
لماذا يُعد retirement أمرًا مهمًا
الوكيل الذي يبتكر مهارات جديدة باستمرار يواجه مشكلة طبيعية: جزء من هذه المهارات لا يكون عديم الفائدة فحسب، بل ضارًا — فهو يعيق أداء المهام الأساسية. بدون قيود، تنمو المكتبة بلا حدود، وتنخفض الجودة. Skill retirement يشبه البستاني الذي يقتلع الأعشاب الضارة في الوقت المناسب. الآلية مبنية على إمكانية قياس مساهمة كل مهارة: إذا كانت المهارة لا تحقق فائدة، يتم حذفها.
لكن كيف نقيس المساهمة عندما لا توجد إجابة مرجعية؟ في العديد من المهام العملية — كتابة التقارير، تحليل النصوص، وضع الخطط — لا يوجد حل صحيح واحد. لذلك، بدلًا من التحقق الموضوعي، نضطر لاستخدام حَكَم LLM. وهنا تحديدًا يكمن جذر المشكلة.
حَكَم متحيز: تخريب صامت
درس مؤلفو ورقة «The Blind Curator: How a Biased Judge Silently Disables Skill Retirement in Self-Evolving Agents» (Zhang, Cui, Wang, Li, Qiu, Zhu, He — العمل مُقدَّم في COLM 2026 Workshop on Agent Behavior) ما يحدث عندما يخطئ الحَكَم بشكل منهجي. حددوا نوعًا مهمًا من الأخطاء — false-pass: عندما يمرر الحَكَم نتيجة فاشلة على أنها ناجحة. قد يبدو الأمر انحرافًا بسيطًا — حسنًا، الحَكَم متساهل بعض الشيء. لكن في الواقع، يؤدي هذا إلى تأثير غير متوقع: الحَكَم المتحيز لا يضيف ضوضاء إلى التقييمات فحسب، بل يعطل آلية retirement تمامًا.
لضمان نقاء التجربة، فصل الباحثون تأثير التحيز تحديدًا عن الضوضاء العادية. اتضح أن الضوضاء المتناظرة (حيث يخطئ الحَكَم بالتساوي في الاتجاهين) لا تعيق عمل retirement. أما الانحياز غير المتناظر نحو النجاحات الزائفة فيكسر كل شيء.
عتبة حادة لا يمكن تجاوزها
الأكثر إثارة للاهتمام هو كيفية حدوث الفشل. إنه ليس تدريجيًا. طالما أن نسبة false-pass لا تتجاوز حوالي 0.45 — أي أن الحَكَم يمرر أقل من نصف الإخفاقات — تعمل الآلية. لكن بمجرد تجاوز هذه العتبة، يتوقف retirement القائم على المساهمة عن العمل تمامًا. لا زيادة في حجم البيانات ولا عدد التكرارات يساعد: لا يمكن عبور العتبة مرة أخرى بمجرد جمع المزيد من الأمثلة.
اختبر الباحثون هذا في ظروف مختلفة: في بيئة توليد التقارير بدون مرجع (مع تحقق متقاطع على توليد الأكواد) وفي مجالات أخرى، بمعدلات فشل متفاوتة. فشل الآلية يتكرر في كل مكان. الاستثناء الوحيد هو الحكام-المدققون شبه المثاليين، حيث تكون نسبة الأخطاء قريبة من الصفر، لكن هذا حالة نادرة لحكام LLM حقيقيين.
تفصيل مهم: يميزون بين retirement الحقيقي (حذف المهارات عديمة الفائدة فعليًا) و«الإخلاء بالسعة» (إزاحة المهارات القديمة بأخرى جديدة لأسباب شكلية). ما يتعطل هو الأول تحديدًا، وهذا تأثير عام وليس مجرد مصادفة لبيئة معينة.
تدهور «صامت»: لماذا لا تظهر المشكلة
إذا كانت الآلية معطلة، قد نتوقع أن تظهر المقاييس تدهورًا فوريًا. لكن لا. اكتشف المؤلفون أنه في بعض الأوضاع، تظل جودة التقييم مستقرة رغم تعطيل retirement. يظهر التدهور فقط حيث يستنزف فساد الحَكَم نفسه أيضًا توليد المهارات الجديدة. أما إذا كان التوليد يعمل، فالصورة العامة تبدو طبيعية.
الكيوراتور المعطل «صامت»: لا يوجد مؤشر إجمالي يكشف غيابه. ظاهريًا، يستمر الوكيل في العمل، وما زال يولد التقارير، لكن مكتبته تمتلئ ببطء، وتنخفض إمكانات نموه. هذا يجعل المشكلة خطيرة بشكل خاص: من المستحيل ملاحظتها في الاختبارات العادية.
كيف تفحص الحَكَم قبل النشر
يقترح المؤلفون طريقة تدقيق رخيصة وعملية — حقن العيوب. الفكرة بسيطة: قبل النشر، يُدخل المشغل عمدًا مهارة معروفة بأنها عديمة الفائدة إلى المكتبة (أو يقدم للحَكَم نتيجة سيئة معروفة) ويراقب كيف يتفاعل الحَكَم معها. إذا رفضها الحَكَم — فكل شيء على ما يرام. إذا مررها — فهذا يعني أن النظام على الجانب الآخر من العتبة، وأن retirement على الأرجح لا يعمل بالفعل.
هذا الاختبار لا يتطلب بنية تحتية معقدة ويستغرق وقتًا قصيرًا. إنه لا يُظهر مجرد خطأ نقطي، بل يُظهر على أي جانب من العتبة يقف الحَكَم — وبالتالي يمكن اتخاذ القرار قبل أن يبدأ الوكيل في تراكم المهارات عديمة الفائدة في الوضع الفعلي.
بدل الخاتمة
هذه الدراسة تتعلق بسلامة السلوك، وليس بالأداء. إنها لا تعد بأن الوكلاء سيصبحون أسرع أو أدق. إنها تقول شيئًا آخر: حتى آلية الحماية المحافظة، مثل skill retirement، يمكن تعطيلها بصمت بواسطة حَكَم متحيز، وسيستمر النظام في الظهور بمظهر سليم. الخبر الجيد هو أن هذه العملية يمكن تشخيصها باختبار بسيط قبل أن تسبب ضررًا فعليًا. لكل من يصمم وكلاء ذاتية التعلم، هذا سبب للتفكير: ما مدى نزاهة حَكَمك — وماذا سيحدث إذا أصبح فجأة متساهلًا أكثر من اللازم؟
