النماذج اللغوية الكبيرة تتولى بشكل متزايد أدوار المحاورين والمساعدين و«المنفذين» التلقائيين. وكلما زادت المسؤولية التي نعهد بها إليها، زادت أهمية فهم الأسلوب الذي تتصرف به النماذج مسبقًا: أين تميل إلى التنازل، وأين تصر على موقفها، وأين تكتفي بإخراج إجابة تبدو معقولة. عمليًا، كثيرًا ما تُحاول «شخصية» النماذج اللغوية الكبيرة قياسها عبر استبيانات نفسية تقليدية، مثل جرد العوامل الخمسة الكبرى (BFI). لكن نقل هذه المنهجية من الإنسان إلى الشبكة العصبية يؤدي إلى نتائج غير موثوقة.
لماذا لا يصلح BFI لتقييم النماذج اللغوية الكبيرة
يبدو نهج BFI منطقيًا: لدى الإنسان تُقاس الانفتاح على التجربة، والضمير الحي، والانبساط، والمقبولية، والعصابية — فلماذا لا تُمرَّر النماذج عبر المقاييس نفسها؟ المشكلة أن BFI والاستبيانات المشابهة صُممت للبشر وتفترض القدرة على التقرير الذاتي. الشبكة العصبية لا تتأمل ذاتها بالطريقة التي يفعلها الإنسان: إنها تنتقي النص الأكثر ترجيحًا بناءً على بيانات التدريب. لذلك تعتمد النتيجة بشدة على تفاصيل «عشوائية»: صياغة السؤال، وترتيب العبارات، وتغيير بسيط في موجه النظام.
من هذا ينبع القيد الأول — انخفاض الموثوقية. مرِّر النموذج نفسه عبر الاختبار نفسه مع تعديلات طفيفة — وقد تحصل على «شخصيات» مختلفة. مثل هذا التقييم لا يصلح لاتخاذ قرارات هندسية: لا يمكن الاعتماد بجدية على خاصية تتغير بفعل مرادفين.
المشكلة الثانية أعمق. البنيات النفسية في BFI تصف الإنسان، لا النظام الحاسوبي. النموذج لا يمتلك شخصية بالمعنى الإنساني، وإن كانت سلوكياته قد تُظهر أنماطًا مستقرة. يحاول الاستبيان التقليدي رصد ما صُمم للبشر، ولذلك فهو يتنبأ بشكل سيئ بكيفية تصرف النموذج اللغوي الكبير في طلب حقيقي: صلاحية هذه الأداة للتنبؤ تظل محدودة.
CSI: استبيان مصمم للنماذج، لا للبشر
بدلًا من التكيف اللامتناهي مع الاستبيانات البشرية، يقترح مؤلفو الدراسة الجديدة إعادة بناء الأداة من الصفر. صُمم جرد المشاعر الأساسية (Core Sentiment Inventory — CSI) خصيصًا لتقييم سمات الشخصية لدى النماذج اللغوية الكبيرة. الفكرة الأساسية — الابتعاد عن الإجابات المباشرة «أوافق / لا أوافق». يعيد CSI بناء الملف الشخصي من الإشارات غير المباشرة، أي عمليًا من كيفية اختيار النموذج للسلوك في مواقف محددة. هذا التقييم الضمني يقلل من استفزاز النموذج لإعطاء إجابات «مرغوبة» ويسمح برؤية أنماط أكثر طبيعية.
تغطي المنهجية في الأساس لغتين — الإنجليزية والصينية. وهذا أمر جوهري: السياق اللغوي والثقافي يغير سلوك النموذج، والاستبيان ثنائي اللغة يتيح تتبع ذلك بدلًا من إخراج صورة متوسطة. عند المخرجات، لا يقدم CSI مجرد درجات قليلة، بل صورة نفسية للنموذج: وصفًا للسمات التي تظهر بقوة أكبر وتحت أي ظروف.
ماذا أظهرت التجارب
في التجارب، قارن المؤلفون CSI بالمناهج الحالية لتقييم شخصية النماذج اللغوية الكبيرة. وفقًا لبياناتهم، تعمل المنهجية الجديدة على ثلاثة مستويات في آن واحد:
- الحساسية للفروق الدقيقة. يلتقط CSI اختلافات دقيقة في سلوك النماذج، بما في ذلك الاختلافات بين اللغات وأنواع السياقات. لا تعمل الملفات على تنعيم السلوك إلى متوسط، بل تحافظ على التفاصيل المهمة.
- الموثوقية. أظهرت نتائج CSI اتساقًا واستقرارًا ملحوظًا أكبر من الأدوات الحالية. التغييرات الطفيفة في الظروف تؤثر أقل على الصورة النهائية.
- القدرة التنبؤية. تجاوز الارتباط بين تقديرات CSI والمخرجات الفعلية للنماذج 0.85. هذه علاقة قوية: إذا قال CSI إن النموذج يميل إلى التصرف بطريقة معينة، فالسلوك الفعلي سيطابق التوقع باحتمال كبير.
هذه المجموعة من الخصائص نادرة: بعض المنهجيات تميز السلوك جيدًا لكنها غير مستقرة؛ وأخرى مستقرة لكنها لا تخبر الكثير عن الأفعال الفعلية للنموذج. يحاول CSI الجمع بين الصفتين.
ما الفائدة العملية من ذلك
الملف الشخصي المستقر للنموذج اللغوي الكبير مفيد ليس فقط كموضوع بحث. إنه أداة لمراقبة الجودة: يمكن تحديد أسلوب التواصل المطلوب من المساعد مسبقًا، والتأكد من أن النموذج لا «ينهار» عند تغيير صياغة المهمة. يتيح CSI أيضًا مقارنة النماذج فيما بينها وفق الخصائص السلوكية، وليس فقط وفق معايير قياس المعرفة.
أخيرًا، هذا الإطار لتقييم «الشخصية» مهم للتطوير المسؤول للذكاء الاصطناعي. كلما فهمنا بدقة أكبر الأنماط السلوكية المثبتة في النموذج، تمكنا مبكرًا من رصد الميول غير المرغوب فيها — قبل أن تظهر في منتج حقيقي. نشر المؤلفون كود المنهجية، لذا يمكن إعادة إنتاج النتائج والتحقق منها على النماذج الخاصة بك.
