ما الذي يحصل عليه موجّه التوجيه
في نماذج اللغة MoE، يختار موجّه التوجيه الخبراء ويُسنِد إليهم أوزانًا بناءً على الحالة المخفية للرمز. وفي الوقت نفسه، يستخدم معلومات سياقية محدودة.
يُكمّل Attention-Aware Routing (AAR) هذه الإشارة بسمات زمنية وطيفية، تُستخرج من نافذة منزلقة لأوزان الانتباه.
- يعتمد التوجيه العادي على الحالة المخفية للرمز.
- يضيف AAR سمات الانتباه التي تلخّص الحالة السياقية بشكل منفصل عن الحالة المخفية.
المعيار العملي: عند تحليل اختيار الخبراء، ينبغي التمييز بين إشارة الرمز والملخّص الإضافي للسياق.
كيف يعمل AAR
يستخرج AAR سمات زمنية وطيفية من نافذة منزلقة لأوزان الانتباه. وبهذا يستخدم موجّه التوجيه إشارة سياقية منفصلة عن الحالة المخفية للرمز.
يُبقي المؤلفون المحوّل الأساسي مجمّدًا بالكامل، ولا يدرّبون سوى معلمات التوجيه. وهذا يتيح دراسة التوجيه بوصفه المتغير الوحيد الذي يخضع للتغيير.
معيار تقييم الطريقة هو فصل أثر التوجيه عن التغييرات في بقية معلمات النموذج.
لماذا يغيّر التوجيه الانتباه
يرتبط التوجيه بالانتباه عبر تسلسل الطبقات. فالتغييرات في التوجيه عند الطبقة l تمر عبر التدفق المتبقي وتعزّز نقاط ارتكاز الانتباه عند الطبقة l+1.
وهذا يغيّر الانتباه من دون تحديث آليته مباشرةً. وهذا يعني أن اختيار الخبراء قد يؤثر في المعالجة اللاحقة للسياق.
عند تحليل النتائج، من المهم مراعاة هذا الارتباط: فالانتباه هنا ليس إشارة إدخال لموجّه التوجيه فحسب، بل هو أيضًا جزء من سلسلة تبعات التوجيه.
ما الذي أظهرته النتائج
على OLMoE، رفع AAR نتيجة GSM8K بمقدار 3,37 نقطة مئوية مقارنةً بالنسخة الأساسية من SFT التي تستخدم التوجيه فقط.
| المقياس | نتيجة AAR |
|---|---|
| GSM8K | +3,37 نقطة مئوية مقارنةً بالنسخة الأساسية |
| الإجابات الخاطئة | أصبحت أقصر في التوليدات الطويلة والمتباينة |
| الإجابات الصحيحة | لم يتغير طولها |
تصف هذه النتائج تقييمًا محددًا، ولا تُظهر أن AAR يؤثر بالطريقة نفسها في جميع المهام.
عند مقارنة النسخ، يجدر مراعاة نتيجة المهمة وطول التوليد كلٌّ على حدة، إذ تغيّر هذان المقياسان بطرق مختلفة.
لماذا يهم اختيار الطبقات التي يُفعَّل فيها AAR
يعتمد أثر AAR على العمق. وقد يؤدي تطبيقه بلا تمييز على طبقات مختلفة إلى انخفاض جودة الاسترجاع الواقعي.
عند تطبيقه على طبقات أعمق، تستمر فوائد الاستدلال الرياضي. وهذا يكشف عن تعارض بين استرجاع المعلومات والاستدلال عند أعماق مختلفة.
- لتقييم الاسترجاع الواقعي، من المهم التحقق مما إذا كان تطبيق AAR على طبقات مختلفة يضعفه.
- بالنسبة إلى الاستدلال الرياضي، من المهم مراعاة النتائج عند الطبقات الأعمق.
- يتيح التطبيق الانتقائي دراسة المعلومات التي يحملها الانتباه للتوجيه عند كل عمق.
المعيار العملي هو تقييم الطبقات كلًّا على حدة، بدلًا من اعتبار إشارة الانتباه مفيدة بالقدر نفسه على امتداد عمق النموذج.
