ما مدى خطورة الاعتماد على التتبع
في النماذج القائمة على بنية خليط الخبراء (MoE)، يمر كل رمز عبر مجموعة فرعية صغيرة من "المتخصصين". بعد المعالجة، يبقى أثر شكلي — أي الخبراء تم استدعاؤهم وبأي أوزان. من السهل استخدام هذا التتبع كتفسير، لكنه يشبه سجلات المكالمات الهاتفية دون محتوى المحادثة: ترى من اتصل بمن، لكنك لا ترى ما الذي تم الاتفاق عليه.
تُظهر ورقة بحثية حديثة (Chen et al., arXiv:2608.17638) أن التفسير القائم على التتبع يفقد طبقة مهمة من المعلومات. يقترح المؤلفون قراءة ليس فقط المسار المرئي، ولكن أيضًا الحالة الداخلية لاستدلالات النموذج. الفكرة الأساسية هي قراءة ذات مستويين: أولاً فضاء دلالي مضغوط، ثم وكيل رخيص مُعاد بناؤه من إحصائيات التوجيه المعتادة.
قارئ الحالة ثنائي المستوى
J64: 64 محورًا بدلاً من القاموس الكامل
المستوى الأول مبني من الفضاء J، الذي يتناسب حجمه مع قاموس النموذج. يتم تقطير هذا الفضاء إلى إطار دلالي مضغوط J64 — 64 محورًا فقط. النتيجة ليست إسقاطًا موضوعيًا عشوائيًا، بل مجموعة من الثوابت المُدرَّبة على حالات الاستدلال الخاصة بالنموذج.
الفائدة الرئيسية لـ J64 هي أنه يرى حالات غير موجودة في التتبع المرئي. يمكن لأثرين متطابقين للتوجيه أن يخفيا عمليات داخلية مختلفة، ويساعد J64 في التمييز بينهما. بالإضافة إلى ذلك، فهو يفصل بين عبئين مختلفين: مقدار الجهد الذي يبذله النموذج في الاستدلال، ومدى صعوبة المثال نفسه بالنسبة له.
يُظهر التحقق على البيانات المحتجزة أن الزيادة في المساحة تحت منحنى ROC تبلغ 0.096–0.135 مقارنة بالنهج الأساسي الذي يقرأ نفس التمرير كامتلاء للرموز ويستخدم نفس التجميع. أي أن التحسين يأتي تحديدًا من طريقة قراءة الحالة، وليس من تغيير النموذج نفسه أو تنسيق البيانات.
R64: نفس الصورة بإحصائيات رخيصة
لدى J64 عيب عملي: فهو يتطلب الوصول إلى التمثيلات الداخلية للنموذج. لجعل النهج قابلاً للتطبيق في بيئات الإنتاج، يعيد المؤلفون بناء J64 من الإحصائيات الأصلية لتوجيه الخبراء. يُسمى هذا الوكيل R64 ولا يُحدث أعباءً إضافية كبيرة أثناء الاستدلال.
يصل متوسط الارتباط لكل محور بين R64 وJ64 على ثلاثة نماذج وعائلتين من البنيات إلى 0.69–0.86. على نموذج gpt-oss-20b، يحتفظ R64 بنسبة 95–100% من المكسب التنبؤي لـ J64 الأصلي. بعبارة أخرى، ليس من الضروري حساب الفضاء الدلالي الكامل للعديد من المهام: يكفي جمع إحصائيات من آلية التوجيه الموجودة بالفعل.
دقتان زمنيتان لقرارات وقت الاختبار
قراءة الحالة لا تعمل فقط كتفسير بعد وقوع الحدث، بل أيضًا كأداة لاتخاذ القرارات. ينظر المؤلفون في سيناريوهين: تحليل المرشحين المكتملين والتحكم في التوليد في الوقت الفعلي.
الاختيار من الخيارات الجاهزة
عندما يولد النموذج بالفعل عدة إجابات محتملة، يعمل J64 وR64 على تحسين اختيار فرع واحد بين المرشحين. تم اختبار التصويت الموزون بشكل منفصل: إذا تم استخدام أوزان من R64 بدلاً من الأغلبية البسيطة، تكون النتيجة أفضل من التصويت بالأغلبية العادي في سبعة من ثمانية إعدادات. هذا يعني أنه يمكن استخدام الحالة المخفية كإشارة أكثر دقة لتجميع الإجابات.
الإيقاف وإعادة الاختيار أثناء التوليد
السيناريو الثاني هو التوليد حيث يجب اتخاذ القرارات مع ظهور الرموز. تُغذى نوافذ القراءة المنزلقة في سياسة تراكمية "أوقف وأعد العينة": في لحظة معينة، يوقف النموذج الفرع الحالي ويبدأ التوليد من جديد. يتم تثبيت نقطة عمل هذه السياسة فقط على أسئلة التدريب، لذا لا يتكيف الأسلوب مع الإجابات المعروفة في الاختبار.
يحقق J64 زيادة في الدقة بمقدار 1.1–5.9 نقطة مقارنة بالتجربة الضابطة التي استخدمت أشقاء مخلوطين. يحتفظ R64، المبني فقط على التوجيه، بـ 0.9–3.2 نقطة من هذا المكسب. حتى الوكيل الرخيص يثبت فائدته الكافية للتحكم في التوليد.
هل يمكن تغيير الاستدلالات عبر الموجّه
الجزء الأخير من العمل يتجاوز التفسير السلبي. يحرر الباحثون الموجّه بحيث يؤثر على الآلية المقابلة لـ J64. بعد ذلك، يتغير سلوك النموذج بطريقة متوقعة — بطريقة تتبع تفسير J64. "العالق" القابل للتشخيص في النموذج ينتقل عندها من التخمين العددي إلى التنفيذ الرمزي الدقيق.
هذه إشارة مهمة: محاور J64 لا تلتقط مجرد ارتباط، بل دورًا سببيًا في الاستدلالات. إذا كان تحرير الموجّه يعطي تغييرات متوقعة، فهذا يعني أن الحالة المقروءة تشارك فعلًا في اتخاذ القرارات، وليست مجرد أثر جانبي.
يظل تتبع MoE واجهة مريحة لكنها خشنة جدًا للنموذج. القراءة ثنائية المستوى — أولاً إسقاط دلالي اقتصادي، ثم وكيل قائم على التوجيه — تسمح برؤية ما يحدث قبل وأثناء استدعاءات الخبراء المرئية. يمكن أن تصبح هذه "لوحات القيادة" الداخلية الأداة القياسية التالية لتصحيح أخطاء النماذج الكبيرة والتحكم فيها.
