المشكلة: السياق الطويل يصطدم بحدود الذاكرة
كلما زاد النص المُمرَّر إلى النموذج، زادت صعوبة معالجة كل استعلام جديد. يتطلب الأسلوب التقليدي للتعلم داخل السياق (in-context learning) أن "يعيد النموذج قراءة" السياق بأكمله مع كل طلب. وهذا يعني أن زمن الاستجابة واستهلاك ذاكرة GPU ينموان مع طول النص المُدخل. عمليًا، يصبح هذا ملحوظًا بالفعل عند عشرات الآلاف من التوكنات، وعند 128 ألف توكن تُستنزف الموارد بكفاءة منخفضة للغاية.
والأسوأ من ذلك، أن المحولات (Transformers) العادية تمتلك نافذة سياق أصلية، يتدهور الأداء بشكل حاد خارج حدودها. حتى لو قبل النموذج مدخلات طويلة رسميًا، فإنه يبدأ في "نسيان" التفاصيل من منتصف النص. ويتجلى هذا بوضوح خاص في مهام مثل "الإبرة في كومة القش" (needle-in-a-haystack)، حيث يلزم العثور على حقيقة مهمة واحدة وسط كمية كبيرة من المعلومات.
فكرة MoNe: نقل السياق إلى ذاكرة منفصلة
تقترح طريقة MoNe (الذاكرة العصبية المعيارية) التخلص من الاعتماد المباشر بين طول السياق وتكلفة الاستعلام. إنها ذاكرة عصبية معيارية خفيفة تُوصَّل بنموذج محول جاهز ومجمّد (frozen). لا حاجة لإعادة تدريب النموذج الأساسي — يكفي إضافة وحدة خارجية تتولى التعامل مع السياق.
الحيلة الأساسية تكمن في طريقة تصميم الذاكرة نفسها. تعالج MoNe النص المُدخل ليس ككل، بل عبر مقاطع ذات حجم ثابت. داخل الوحدة، تُستخدم شبكات أوزان سريعة (fast weight networks) — وهي تُدرَّب مباشرة في مرحلة الاختبار، محدّثةً معاملاتها بتدرجات محلية على مستوى الطبقات. قد يبدو هذا معقدًا، لكنه يعني في جوهره: أن الذاكرة تتكيف مع النص المحدد دون التدخل في أوزان النموذج الرئيسي.
بنية ثنائية المراحل: معالجة مسبقة منفصلة، واستعلام منفصل
ينقسم الاستدلال إلى مرحلتين مستقلتين. في المرحلة الأولى، تُنفَّذ معالجة مسبقة: يقرأ النموذج السياق على شكل مقاطع، ويُكوِّن منها مفاتيحًا وقيمًا، ويخزنها في الذاكرة الخارجية. هذه المرحلة خطية — تتزايد التكلفة بشكل متناسب مع طول النص، لكنها عملية تتم لمرة واحدة.
في المرحلة الثانية — عند وصول الاستعلام — لا تعود الذاكرة إلى السياق الأصلي. بدلاً من ذلك، تُولِّد المفاتيح والقيم فقط من توكنات الاستعلام. لا تتم إعادة قراءة توكنات السياق، وبالتالي فإن زمن الاستجابة لا يعتمد إطلاقًا على طول النص الأصلي. يُعبَّر عن هذا رسميًا كالتالي: O(N) للمعالجة المسبقة وO(1) للاستعلام، حيث N هو طول السياق.
بفضل هذا الفصل، يتوقف الاستخدام الأقصى لذاكرة GPU عن النمو مع زيادة N. هذه ميزة مهمة: حتى مع سياق طويل جدًا، لا يحاول النموذج الاحتفاظ بجميع توكنات الإدخال في الذاكرة في الوقت نفسه.
ماذا يعني هذا عمليًا
اختبر المؤلفون النهج على معيار RULER، الذي يتضمن سيناريوهات "الإبرة في كومة القش" واستخراج كلمات محددة. وهناك تحديدًا يتدهور التعلم التقليدي داخل السياق بشكل ملحوظ مع زيادة طول السياق. على النقيض، يُظهر MoNe نتائج مستقرة ويعمّم على أطوال تتجاوز بشكل كبير النافذة الأصلية للنموذج الأساسي.
يجدر التأكيد بشكل منفصل على الكفاءة. عند العمل مع 128 ألف توكن، يقلل MoNe التكاليف الحسابية والذاكرة القصوى لـ GPU بنحو 80% مقارنة بالتعلم التقليدي داخل السياق (ICL). وفي الوقت نفسه، تشكل المعاملات الإضافية للوحدة 6.4% فقط — أي أن النفقات العامة لذاكرة تخزين النموذج نفسه ضئيلة.
الخلاصة
MoNe هو نظرة جديدة لمشكلة السياق الطويل. بدلاً من زيادة القدرات الحاسوبية أو ابتكار آليات انتباه معقدة، يقترح الباحثون نقل التعامل مع السياق إلى وحدة منفصلة. لا تتطلب إعادة تدريب المحول، وتضيف عددًا قليلاً من المعاملات، لكنها تجعل زمن الاستجابة ثابتًا وتمنع الذروة في الذاكرة من النمو مع النص.
حاليًا، هذه ورقة أولية (preprint) على arXiv من مجموعة دولية من الباحثين. لكن الاتجاه يبدو واعدًا: إذا تم تأكيد الطريقة على نطاق أوسع من المهام، فقد تصبح وسيلة عملية لتحويل النماذج المجمّدة العادية إلى أنظمة تعمل بشكل مريح مع مستندات طويلة جدًا دون تغييرات جذرية في بنيتها.
