الناس مفهومون، والنماذج اللغوية الكبيرة ليست كذلك: الخبراء لم يتمكنوا من تفسير منطق النماذج
عندما ننظر إلى نتائج الاختبارات، يبدو من الطبيعي افتراض أن الذكاء الاصطناعي يحل المهام "مثل الإنسان": يستخدم نفس المفاهيم والقواعد والاستدلالات. ومع ذلك، فإن دراسة جديدة تلقي بظلال الشك على هذا الافتراض. اكتشف العلماء أن البنى الخفية التي تحدد إجابات النماذج اللغوية الكبيرة، في معظم الحالات، لا تخضع للتفسير البشري — حتى لدى الخبراء المتخصصين.
ما الذي تم فحصه بالضبط
مؤلفو العمل (arXiv:2608.17810) — ألونا ستروغاتسكي، ليكول زينفيلد، جيسون كوبر وزملاؤهم — أخذوا إجابات البشر وستة نماذج لغوية كبيرة مختلفة على مهام في الاستدلال الكمي والكيمياء. وباستخدام التحليل العاملي الاستكشافي، حددوا لكل مجموعة عوامل كامنة خفية يُفترض أنها تقف وراء نجاح أداء هذه المهام.
ثم درس الخبراء المتخصصون البنى الناتجة بشكل أعمى وحاولوا إسناد معنى تربوي للعوامل: على سبيل المثال، "القدرة على التعامل مع الصيغ" أو "فهم القياس الكيميائي". استبعد الشكل الأعمى أي تلميحات — لم يكن المتخصصون يعرفون ما إذا كانت الرسوم البيانية تتعلق بالبشر أم بالنماذج.
النتيجة: فجوة في قابلية التفسير
تمكن الخبراء دون أي مشاكل تقريبًا من فهم العوامل المستخلصة من الإجابات البشرية. حصلت معظم البنى على تفسير ذي معنى، كان من السهل تحويله إلى توصيات للتعليم أو التشخيص.
أما مع النماذج اللغوية الكبيرة، فكانت الصورة مختلفة:
- في الاستدلال الكمي، لم يتمكن الخبراء من تفسير أي عامل بشكل ذي معنى من العوامل المحددة للنماذج.
- في الكيمياء، كان الوضع أفضل قليلاً، لكنه ظل بعيدًا عن المثالية: لم يُفسَّر سوى حوالي نصف البنى.
ما معنى هذا
يتوصل المؤلفون إلى استنتاج مهم: عندما تُظهر النماذج اللغوية الكبيرة نتائج عالية في الاختبارات، فهذا لا يعني أنها تستدل بالطريقة المألوفة لدينا. قد تجد النماذج طرقًا فعالة إحصائيًا، لكنها "غريبة" تمامًا عن الإنسان، لحل المهام. آلياتها الداخلية تعمل على مستوى الأنماط التي لا تحمل معنى تربويًا أو معرفيًا مفهومًا.
هذه الملاحظة تتحدى الممارسة الشائعة المتمثلة في محاولة استخلاص استنتاجات حول مستوى المعرفة أو الكفاءات من نتائج الذكاء الاصطناعي. إذا لم نتمكن من شرح البنى التي تقف وراء الإجابات، فإننا نخاطر بنسب قدرات غير موجودة إلى النماذج — أو على العكس، تفويت القيود الحقيقية.
إلى أين نتجه من هنا
لا تدعي الدراسة أن تفسير النماذج اللغوية الكبيرة مستحيل من حيث المبدأ. إنها تُظهر فقط أن النهج الكلاسيكي، المصمم لدراسة الإدراك البشري، لا يُنقل إلى النماذج مباشرة. ربما سيكون من الضروري تطوير طرق تحليل جديدة جذريًا — تلك التي تراعي الطبيعة "غير البشرية" للبنى الكامنة.
في الوقت الحالي، يبقى السؤال مفتوحًا: إذا كان الخبراء لا يستطيعون تفسير منطق النماذج، فهل يمكننا الاعتماد على استخدامها في التعليم وتقييم المعرفة؟ الإجابة، على الأرجح، ستتطلب إعادة نظر في كل من مناهج اختبار الذكاء الاصطناعي وتوقعاتنا من "ذكاء" الآلات.
