أين تتجه معايير تقييم نماذج اللغات الكبيرة
اختبارات النماذج اللغوية الكبيرة الحديثة تفقد معناها تدريجيًا: تحقق النماذج درجات عالية، ويصبح الفارق بينها أقل دلالة. يرى مؤلفو دراسة جديدة أن السبب يكمن في طريقة تصميم تعقيد المعايير. حاليًا، هناك استراتيجيتان شائعتان: إما زيادة حجم المعرفة المتخصصة الضيقة، كما في GPQA أو HLE، أو الانغماس في المنطق المجرد بروح ARC-AGI. المشكلة في النهج الأول أن النتيجة المرتفعة قد تكون ناتجة عن حفظ الحقائق وليس الفهم الحقيقي. أما النهج الثاني، فيفصل الاستدلال عن السياق العملي — فهذه المهام لا تشبه كثيرًا ما ستواجهه النماذج في الحياة الواقعية.
يقدم المعيار الجديد GIM (مقياس التكامل الأرضي) مسارًا ثالثًا. يرى مؤلفوه أن التعقيد يجب أن ينشأ ليس من سعة الاطلاع ولا من الألغاز، بل من الحاجة إلى توظيف عدة مهارات معرفية مختلفة في وقت واحد على مادة من المعرفة العامة المتاحة.
كيف يعمل GIM
تتكون المجموعة من 820 مهمة أصلية: 615 مفتوحة للجميع و205 خاصة تبقى مخفية لمنع التلقين. المهم أن كل مهمة هي تركيب أصلي وليست إعادة صياغة لأسئلة موجودة مسبقًا.
لا يتحقق التعقيد عبر حقائق نادرة، بل عبر تنسيق العمليات. على سبيل المثال، في إحدى المهام قد تحتاج النماذج في الوقت نفسه إلى:
- تلبية عدة قيود؛
- تتبع حالة متغيرة لعملية ما؛
- إظهار يقظة معرفية، أي فهم أي المصادر والادعاءات يمكن الوثوق بها؛
- تكييف الإجابة مع جمهور محدد.
في الوقت نفسه، تعتمد جميع المهام على معرفة عامة متاحة — لا يُطلب من النموذج أن يكون خبيرًا في مجال ضيق. النتيجة هي اختبار ليس للذاكرة بل للقدرة على جمع مهارات مختلفة معًا وتطبيقها في موقف واقعي.
تُقيَّم الإجابات بشكل أساسي عبر معايير تحليلية: تُفكَّك النتيجة إلى مكونات منفصلة، ويُفحص كل مكون بشكل مستقل. وهذا يقلل من احتمالية حصول النموذج على درجة كاملة لإجابة صحيحة جزئيًا.
كيف تم تقييم النماذج
لم يعتمد المؤلفون ببساطة على نسبة الإجابات الصحيحة. بدلاً من ذلك، استخدموا نموذج IRT مستمرًا ثنائي المعاملات — وهو أسلوب من علم القياس النفسي يأخذ في الاعتبار كلاً من قدرة النموذج وصعوبة المهام. تمت معايرة النموذج على 53 تكوينًا اختباريًا — أزواج فريدة من «نموذج × مستوى تفكير». ولتحقيق ذلك، استعانوا بخمسة محكمين تمت معايرتهم خصيصًا.
تم جمع أكثر من مليون ملاحظة خام من المحكمين، والتي تم تجميعها بعد ذلك في 203,800 خلية. هذا الإجراء ينتج تقديرات قدرة مستقرة لا تنهار بسبب التشوهات النموذجية للدقة الخام: تشدد المحكمين أو تساهلهم، البيانات المفقودة، الأخطاء غير المتكافئة بين النماذج المختلفة. التقديرات النهائية ترتب تكوينات الاختبار بشكل صحيح حتى في ظل هذه الضوضاء.
بناءً على هذه الحسابات، جمع المؤلفون لوحة صدارة ضمت 22 نموذجًا و47 تكوين إبلاغ رسميًا.
دور وقت التفكير
بشكل منفصل، درس الباحثون تأثير الميزانية الحسابية أثناء الاستدلال — حساب وقت الاختبار. هذه هي أكبر دراسة منشورة من نوعها على معيار ثابت: شملت 11 نموذجًا و35 تكوينًا اختباريًا.
كانت النتائج غير متوقعة إلى حد كبير بفضل تصميم التجربة. الإعدادات داخل العائلة الواحدة — مثل ميزانية رموز التفكير أو التكميم — تؤثر على النتيجة بما لا يقل عن اختيار النموذج نفسه. أي يمكنك أخذ نفس النموذج، وتغيير معاملات التفكير — والحصول على فرق مماثل للانتقال إلى نموذج آخر أكثر قوة.
لكن هناك قيد مهم: زيادة عدد رموز الاستدلال تعطي عائدًا هامشيًا متناقصًا. بعد حد معين، لا تحسن الحسابات الإضافية الإجابة تقريبًا. هذا يعني أن زيادة «وقت التفكير» بلا حدود غير فعالة — بل يجب البحث عن توازن بين الميزانية والجودة.
الاستنتاجات
نُشرت الورقة التي تصف GIM على arXiv في عام 2026 وأصبحت حدثًا بارزًا للمجتمع: 61 صفحة، و27 شكلًا، و4 جداول. كود وبيانات المعيار مفتوحة، لذا يمكن لأي باحث تشغيل نماذجه الخاصة ومقارنتها بالنتائج المنشورة.
الفكرة الرئيسية لـ GIM ليست جعل الاختبار أصعب عبر الحقائق أو التجريدات، بل تقريب المهام من الواقع حيث تعمل المهارات المعرفية المختلفة معًا. ربما تسمح مثل هذه المعايير بتقييم ليس فقط «القدرة على الحفظ» أو «القدرة على التفكير المنطقي في فراغ»، بل الفائدة العملية للنماذج في سيناريوهات معقدة.
