لماذا لا ينبغي اعتبار أحكام نماذج اللغة الكبيرة (LLM) بشأن التفضيلات أمرًا مسلّمًا به
تستطيع نماذج اللغة الحديثة التفكير بشكل مقنع في أمور متنوعة، لذلك يتم الاستعانة بها بشكل متزايد كـ«خبراء» لتقييم تفضيلات المستهلكين. على سبيل المثال، يُسأل ChatGPT عن المبلغ الذي يرغب الشخص في دفعه مقابل رحلة جوية مع أمتعة، أو مدى أهمية قربه من محطة المترو بالنسبة له. تبدو الفكرة جذابة: إذا كانت النموذج يعرف الأذواق البشرية جيدًا بما فيه الكفاية، فيمكن بناءً على إجاباته اختيار السلع والأسعار والخدمات تلقائيًا. ولكن كيف يمكن التحقق من أن هذه التقييمات تعكس بالفعل تفضيلات ثابتة، وليست مجرد كلمات عشوائية؟
قررت مجموعة من الباحثين اختبار هذا الأمر من منظور علمي. فبدلاً من مجرد النظر إلى ما إذا كانت الإجابات تبدو منطقية للوهلة الأولى، طرحوا سؤالًا أكثر صرامة: هل يمكن أصلًا وصف إجابات النموذج بدالة منفعة واحدة؟ دالة المنفعة هي طريقة رياضية لترتيب التفضيلات: إذا كانت موجودة، فيجب أن تكون جميع الإجابات متسقة مع بعضها البعض. على سبيل المثال، إذا قلت إنك مستعد لدفع 500 روبل إضافية مقابل تقليل وقت الرحلة بساعة واحدة، ثم اخترت خيارًا أطول وأكثر تكلفة في نفس الوقت — فهذا تناقض بالفعل.
المنهجية: كيفية قياس عدم الاتساق
طوّر المؤلفون اختبارات إحصائية تسمح بالتقييم الكمي لمدى انحراف إجابات النموذج عن أفضل دالة منفعة تمت مطابقتها. إذا كانت الانحرافات صغيرة، فهذا يعني أن النموذج شبه متسق في تفضيلاته. إذا كانت كبيرة — فهذا يعني أن الأحكام عشوائية أو ظرفية بطبيعتها، ولا يمكن اختزالها إلى مقياس واحد.
أُجريت التجارب على ثلاثة أنواع من السيناريوهات: اختيار رحلة جوية، واستئجار شقة، وحجز فندق. هذه حالات عملية حيث يكون تقييم الاستعداد للدفع مهمًا بشكل خاص للأعمال التجارية. شاركت في الاختبار ست نماذج لغوية كبيرة مختلفة — مما يجعل العينة أكثر دلالة.
النتائج: تناقضات في كل مكان
اتضح أن جميع النماذج الستة تعطي إجابات متناقضة باستمرار. أي أنه إذا طُرحت عليها أسئلة متشابهة بصيغ مختلفة، فمن المرجح أن تختار خيارات لا تتوافق مع بعضها البعض. على سبيل المثال، قد يشير النموذج إلى أن وجود موقف سيارات مهم للغاية بالنسبة له، لكنه عند مقارنة شقتين محددتين يرفض دفع مبلغ إضافي مقابله، على الرغم من إعلانه السابق عن استعداده لذلك.
من الصعب تفسير هذه الاختلافات على أنها مجرد خطأ إحصائي. يؤكد الباحثون أن هذه سمة نظامية بالأحرى: نماذج اللغة الكبيرة ليس لديها «أذواق» ثابتة، بل تولّد كل إجابة من جديد، بالاعتماد على السياق والأنماط الاحتمالية. لذلك يمكن استخدامها للأفكار الأولية، ولكن ليس للنمذجة الدقيقة للتفضيلات الفردية.
لماذا هذا مهم للتطبيق العملي
تضرب النتائج التي تم الحصول عليها عدة أفكار شائعة في الصميم. في الاقتصاد السلوكي والتسويق، يُتحدث بشكل متزايد عن استخدام نماذج اللغة الكبيرة للتخصيص التلقائي: لنفترض أن النموذج تعرّف على تفضيلات المستخدم من خلال استفساراته ويمكنه الآن اختيار العروض المثلى. ولكن إذا كانت أحكام النموذج نفسه متناقضة داخليًا، فإن أي خوارزميات تحسين مبنية عليها ستفشل.
بالإضافة إلى ذلك، تتعلق هذه المشكلة بمناهج البحث نفسها. إذا استخدم الباحث نماذج اللغة الكبيرة لتقييم المنفعة في الاستبيانات، فسيتعين عليه أولاً التأكد من أن النموذج لا يعطي إجابات عشوائية. وإلا فإن نتائج هذا البحث ستكون غير موثوقة.
الخبر الجيد هو أن المؤلفين لم يكتفوا بالإشارة إلى المشكلة، بل اقترحوا أيضًا أدوات لتشخيصها — اختبارات ومؤشرات للانحراف. يمكن استخدامها بالفعل للتحقق من النماذج الجديدة أو عند تحسين النماذج الحالية. ربما بمرور الوقت ستظهر طرق تدريب خاصة تزيد من الاتساق الذاتي للأحكام. لكن حتى ذلك الحين، من السابق لأوانه الاعتماد على نماذج اللغة الكبيرة كمصدر موثوق للمعلومات حول ما يريده الناس حقًا.
