لماذا قد لا يكفي الملخص على مستوى الكتلة
يجعل التوجيه المتبقي على مستوى الكتلة (Block-level residual routing) التجميع القابل للتعلّم للوصلات المتبقية عمليًا: إذ يعتمد الموجّه على ملخصات الكتل. ويضغط كل ملخص تسلسلًا مرتبًا من تحديثات الانتباه وMLP في متجه تراكمي واحد.
- يحفظ الملخص المساهمة الإجمالية للكتلة.
- لكنه لا يصف مسار التحديثات داخل الكتلة.
المعيار العملي: إذا كانت الإشارة التقريبية إلى حركة التدفق المتبقي داخل الكتلة مهمة، فقد لا يكفي ملخص تراكمي واحد.
كيف يضيف HAARES إشارة داخل الكتلة
HAARES هو موجّه للأساس المتبقي، اقترحه Kehan Wang في ورقة بحثية، arXiv:2606.06564. وهو يحافظ على المصدر التراكمي للكتلة ويضيف أساسًا للتفاصيل عبر تقسيم الكتلة إلى نصفين.
- يُحسب أساس التفاصيل بوصفه الفرق بين تحديثات التدفق المتبقي في النصف الأول والنصف الثاني من الكتلة.
- يُواءَم الأساس وفق RMS ويُحدَّث عبر الإنترنت.
- يحصل الموجّه على معلومات تقريبية عن المسار داخل الكتلة من دون توجيه كثيف على مستوى الطبقات الفرعية.
المعيار العملي: يجمع HAARES بين مصدر تراكمي وإشارة تفاصيل إضافية واحدة، بدلًا من توجيه كل طبقة فرعية على حدة.
أين ظهر الأثر في التجارب
شملت التجارب OpenWebText، واختبارات معيارية عابرة للمجالات على مستوى الأحرف، وOpenWebText باستخدام ترميز BPE. وكانت النتائج تعتمد على عمق النموذج.
| الحالة | الملاحظة |
|---|---|
| عمق صغير | المكسب ضئيل أو غير حاسم |
| نماذج ذات 48 طبقة | الأثر الأكثر ثباتًا |
| إعداد 201M ذي 48 طبقة | يتفوق HAARES على Block AttnRes عبر البذور الثلاث |
| اختبار 453M ببذرتين | تُظهر النتيجة الاتجاه نفسه |
تُظهر دراسات الاستئصال أن الأثر لا يُفسَّر بتكرار المصادر، أو بتفاصيل عشوائية الإشارة، أو بانحيازات ثابتة لمصادر التفاصيل. كما لا يمكن تفسيره بمجرد تغيير عدد الكتل.
المعيار العملي: تقدم النتائج حجة أكثر ثباتًا لصالح الطريقة في النماذج ذات 48 طبقة مقارنةً بالنماذج الأقل عمقًا.
ما التكاليف التي ينبغي أخذها في الحسبان
يشير تحليل التكاليف إلى أن كلفة FLOPs الإضافية منخفضة، لكنها لا تعني انعدام تكلفة الوقت. فالطريقة تضيف أعباءً على الذاكرة والتوجيه.
- تتناقص الكلفة الحسابية النسبية مع زيادة عرض النموذج.
- قد يقلل التقارب المبكر من الوقت اللازم للوصول إلى النتيجة المستهدفة.
المعيار العملي: يجدر تقييم HAARES مع أخذ الذاكرة والتوجيه ووقت التقارب في الحسبان، وليس FLOPs وحدها.
