لماذا تحتاج النماذج إلى ردود فعل بشرية متنوعة
وفقًا لملاحظات المؤلفين، يؤدي الضبط الدقيق للنماذج اللغوية الكبيرة على أساس معيار المساعدة إلى تشكيل أسلوب موحد ومفرط في الامتثال لدى المساعد. وهذا يعمّق فجوة Sim2Real — أي عدم التطابق بين المحاكاة والسلوك الفعلي.
تتناول دراسة OdysSim النمذجة واسعة النطاق للسلوك البشري. ويصفها المؤلفون بأنها أكبر دراسة منهجية من هذا النوع.
ولا تقتصر أهمية التقييم هنا على مدى فائدة الإجابة، بل تشمل أيضًا تنوع السلوك. ويربط المؤلفون هذه المهمة تحديدًا بنمذجة ردود الفعل البشرية.
كيف تُقيَّم قدرات النماذج
يجمع تصنيف SOUL بين خمسة محاور للقدرات:
- CONV
- SS
- COG
- ROLE
- EVAL
ضمن هذا التصنيف، جمع المؤلفون 62 مجموعة بيانات و23 مهمة معيارية. وتوفّر المحاور بنية للتقييم، فيما تتيح مجموعة المهام مقارنة النماذج عبر مجالات مختلفة.
المعيار العملي للتقييم هو تغطية عدة مهام، لا الاعتماد على مؤشر عام واحد. وهذا يتيح معرفة جوانب تفوق النموذج: في السيناريوهات الحوارية أو الاجتماعية أو غيرها.
كيف دُرّب النموذج
تضم مجموعة بيانات OdysSim 21,4 مليون تفاعل و10 مليارات رمز. وأكملها المؤلفون بسياقات اجتماعية مولّدة بأثر رجعي، وأنشؤوا المعيار SOUL-Index.
تجمع وصفة التدريب بين ثلاث مراحل:
- التدريب في منتصف المرحلة؛
- التعلم المعزز لمهام محددة؛
- تقطير النماذج الخبيرة.
تكتسب هذه المكونات أهميتها عند تقييم المنهج: فهي تجمع بين التدريب على مجموعة البيانات، والضبط للمهام، ونقل نتائج النماذج الخبيرة.
ما الذي أظهره النموذج
احتل النموذج المفتوح OSim، ذو 8 مليارات من المعلمات، المركز الأول أو تقاسمه في 8 من أصل 23 مهمة. ووفقًا لهذا المقياس، تفوق على أي نموذج متقدم رائد بمفرده.
وأشار المؤلفون إلى أكبر تحسن في المهام الحوارية والاجتماعية. وأصبحت مخرجات النموذج أكثر شبهًا بالبشر من حيث الطول والتنسيق واختيار الكلمات.
وخارج نطاق التوزيع، نقل النموذج مهاراته إلى محاكاة المستخدمين في τ-bench من دون تدريب إضافي. وكاد أن يحقق مستوى المستخدمين الحقيقيين في اتساق ردود الفعل: 93,2 مقابل 93,5.
كيف تعامل المؤلفون مع القرصنة على المكافآت
اكتشف المؤلفون أن التعلم المعزز بالاستناد إلى تقييمات LLM-as-judge يؤدي إلى ظهور أنماط القرصنة على المكافآت. وطوّروا كواشف يمكنها الحد من هذه الأنماط في مرحلة ما بعد التدريب.
يتطلب تقييم نتائج التدريب النظر في الأمرين معًا: التحقق من القرصنة على المكافآت وجودة السلوك في المهام المستهدفة. ويذكر المؤلفون أنهم يتيحون جميع المخرجات البحثية لمزيد من الدراسات.
