المحتوى: التكرار المتباعد بطريقة SuperMemo-2: كيف نُكمل تدريب نماذج اللغة دون نسيان
عندما يُستمر في تدريب نموذج لغة كبير على بيانات جديدة، فإنه يخاطر بفقدان المعرفة التي اكتسبها بالفعل. هذه الظاهرة مألوفة لكل من جرّب تدريب شبكة عصبية على مجال ضيق: بعد عدة خطوات من التحسين، قد "ينسى" النموذج المعرفة العامة. الطريقة الكلاسيكية للتخفيف من هذه المشكلة هي إعادة التشغيل (replay)، أي خلط الأمثلة القديمة في مجموعة التدريب. لكن عادةً ما تكون إعادة التشغيل هذه خشنة للغاية: فالبيانات القديمة والجديدة تُخلط ببساطة بنسبة ثابتة. في هذه الحالة، تُعتبر جميع الأمثلة القديمة بنفس الأهمية، على الرغم من أن بعض المعارف في الواقع تُفقد بسرعة بينما تبقى أخرى لفترة طويلة.
يقترح مؤلفو دراسة حديثة على arXiv (2608.17530) إعادة التفكير في التدريب المسبق المستمر (continual pre-training) كمسألة تخطيط تكيفي للتكرارات. بدلاً من تحديد مقدار التاريخ الذي يجب خلطه مرة واحدة، يجب على النموذج في كل لحظة اختيار الأمثلة التي يجب إعادتها إلى التدريب. وهذا يسمح بالاستجابة للفجوات الفعلية في الذاكرة، بدلاً من اتباع جدول زمني ثابت.
من البطاقات إلى معلمات النموذج
الفكرة مستوحاة من العلوم المعرفية، وبشكل أكثر تحديدًا من خوارزمية SuperMemo-2 (SM-2)، التي استُخدمت لعقود لتخطيط التكرار المتباعد عند حفظ البطاقات التعليمية. تخبرنا SM-2 بالوقت المحدد الذي يجب فيه عرض البطاقة لتثبيت المعرفة ومنع اختفائها. في الطريقة الجديدة، التدريب بالتكرار المتباعد (Spaced Repetition Training - SRT)، يُنقل هذا المبدأ إلى تدريب الشبكات العصبية.
يحتفظ SRT بحالة تكرار خاصة لكل مثال تدريبي. لفهم مدى جودة تذكر النموذج للمثال، يُستخدم مقياس الحيرة (perplexity) — وهو مقياس لمدى ثقة النموذج في توقع البيانات. إذا ارتفع مقياس الحيرة بشكل حاد، فهذا يعني أن المثال بدأ يُنسى، ويُعطى أولوية عالية لإعادة إدراجه في التدريب. يسمح هذا النهج بإعادة الأمثلة "القديمة" تلقائيًا إلى التدريب، وهي ضرورية للحفاظ على المعرفة، وكذلك الأمثلة "الجديدة" التي لم يتم تثبيتها بعد.
من المهم أن SRT لا يلمس بنية النموذج أو دالة الخسارة أو المُحسِّن. جميع التغييرات تتعلق فقط باستراتيجية أخذ عينات البيانات. أي أنه يمكن تطبيق الطريقة فوق عملية التدريب الحالية دون إعادة هيكلة جادة لخط الأنابيب.
ماذا أظهرت التجارب
اختُبرت الطريقة على مجموعات نصية مقسمة زمنيًا من ويكيبيديا والكود البرمجي — أي على بيانات تنقسم طبيعيًا إلى فترات زمنية. كانت النتائج أفضل بشكل ملحوظ من التدريب الساذج وإعادة التشغيل المنتظمة. استعاد SRT من 5 إلى 37 نقطة مئوية من الدقة على المعرفة القديمة التي كان التدريب الساذج قد محاها. في الوقت نفسه، لم يتدهور الأداء على البيانات الجديدة، بل في بعض الحالات زاد.
من المثير للاهتمام بشكل خاص السلوك على النماذج الكبيرة: حيث يحافظ SRT على أداء متوازن على معايير واسعة، بينما يؤدي التدريب الساذج وإعادة التشغيل العادية إلى تدهور كبير. هذا يشير إلى أن تخطيط التكرار يصبح أكثر أهمية مع زيادة حجم النموذج، عندما يكون هناك المزيد من البيانات وخطوات التدريب.
خارج حدود اللغة
من المثير للاهتمام أن المبدأ لا يعمل مع النصوص فقط. أظهرت تجارب مع البيانات المرئية والجدولية أن تخطيط التكرار قابل للتطبيق في كل مكان يمكن فيه قياس إشارة الاستدعاء (recall)، أي فهم أن النموذج ينسى مثالًا محددًا. في الواقع، هذه آلية عالمية للتعلم المستمر، غير مرتبطة بنوع الوسائط.
الاستنتاج الرئيسي من الدراسة هو أن التخلي عن إعادة التشغيل المتوسطة لصالح جدول تكرار فردي يحقق مكسبًا ملموسًا في توازن الاستقرار-المرونة (stability-plasticity). يستمر النموذج في تعلم أشياء جديدة، لكنه "يعيد المادة" في الوقت المناسب تمامًا عندما يبدأ في نسيانها. يبدو هذا النهج خطوة طبيعية نحو تدريب تكميلي أكثر وعيًا لنماذج اللغة الكبيرة.
