عندما يعود «المنسي»
تبدو آلية تعلّم النسيان في النماذج اللغوية الكبيرة عادةً مثيرة للإعجاب: بعد إجراء عملية إزالة المعلومات غير المرغوب فيها، يتوقف النموذج عن إنتاج نصوص حول الموضوع المحظور. لكن هذا التنظيف نادراً ما يكون مستقراً. إذا تم بعدها إجراء ضبط دقيق عادي على جزء صغير من تلك البيانات نفسها، تعود المعرفة تقريباً دون أي جهد. تُظهر التجارب مع مجموعة بيانات TOFU أن إعادة التدريب على عشرين مثالاً منسيّاً فقط يمكن أن تستعيد بشكل كبير المقاييس على المجموعة المستهدفة لجميع طرق تعلّم النسيان المعروفة. الأمر هنا لا يتعلق بجودة تقنية محددة، بل بخصائص عملية التحسين: بعد إجراء عملية النسيان، يتم إنشاء هندسة خسائر خاصة، يمكن من خلالها لإعادة التدريب أن تشق طريق العودة بسهولة.
انحدار الهامش: سيناريو موحّد لعودة المعرفة
قام العلماء بتحليل سلوك أربع عشرة طريقة لاحقة لتعلّم النسيان — قائمة على التدرج، وقائمة على التفضيلات، وقائمة على التقطير — واكتشفوا نمطاً غريباً. لكل طريقة وحجم نموذج، يمكن قياس هامش الاستجابة على مستوى الرموز الفردية، أي الاحتياط الذي يفضّل به النموذج رمزاً على آخر. اتضح أنه بعد تعلّم النسيان، يتقارب هذا الهامش دائمًا تقريبًا إلى نطاق ضيق يقع أعلى قليلاً من المستوى المحدد بواسطة مجموعة البيانات المحتفظ بها (retain). ظهرت هذه الظاهرة في 41 من أصل 42 مجموعة محتملة من طريقة-حجم النموذج، وأُطلق عليها اسم «انحدار الهامش» — تشبيهاً بالانحدار الجيولوجي الذي لا يوجد خلفه شيء.
لماذا يحدث الانحدار
رياضياً، أمكن إظهار أن الانحدار يظهر عندما تعمل الروابط مع مجموعة retain على إبقاء اللوجيتات التشخيصية للمحتوى المنسي أعلى من عتبة معينة. هذا كافٍ لتتوقف عملية التحسين: دالة الخسارة الأصلية للطرق القائمة على تشبّع الرموز تصل إلى نقطة ثابتة، على الرغم من أن النسيان غير مضمون بعد. أكد الفحص على 34 من أصل 42 خلية في التجربة أن تشبّع الخسارة هو الذي يخلق ذلك «النجاح الزائف»، الذي يجعل عودة المعرفة أمراً تافهاً.
معايرة الهامش: كيفية إصلاح الانحدار
يقترح مؤلفو العمل أداة تحسين إضافية باسم معايرة الهامش (Margin Calibration - MC). ليست هذه طريقة مستقلة لتعلّم النسيان، بل وحدة إضافية تُركّب فوق أي نهج قائم. بدلاً من الاعتماد على خسارة مشبعة، تضيف MC خسارة مفصلية غير مشبعة تعتمد على الهامش: تقارن هامش الرمز الفردي (per-token) بهامش استجابة مرجعية تم الحصول عليها من بيانات retain. بالإضافة إلى ذلك، يُطبَّق مسبار KL على مجموعة تعليمات غير مرتبطة بتوزيع التدريب الأصلي. بفضل هذا الضغط الهجين، يمكن استعادة قوة الإشارة على جانب النسيان تحديداً في الأماكن التي «علقت» فيها الخسارة الأصلية عند نقطة ثابتة.
يضيف الجزء النظري مزيداً من الثقة: إذا كانت التدرجات من المكونات المختلفة متوازنة من حيث الهيمنة، فإن المجموعة الثابتة لـ MC تقع على جانب التقاطع مع الانحدار. وهذا يتيح إمكانية تقدير حد أعلى لميزانية هجوم رفع الهامش: إذا حاول المهاجم تكرار التدريب، فسيتعين عليه المرور عبر مقاومة جدية، وليس الانزلاق على منحدر مصقول.
النتائج: الانتصار على الهجمات وثمن ذلك
تم اختبار فعالية MC على ثلاثة معايير: TOFU مع ثلاثة أحجام لنماذج Llama-3 وثلاثة مستويات من النسيان، وMUSE-News على Llama-2-7B-hf، ولوحة منفصلة من Phi-3.5. دون تغيير الإعدادات لكل حالة محددة، فازت أداة التحسين الإضافية بجميع المقارنات الزوجية الأربع عشرة لمجمّعات النسيان (forget-aggregates) وملأت جميع الخلايا المتاحة في اختبار إعادة التدريب. الأرقام تتحدث عن نفسها: متوسط مقياس ROUGE-L عبر اللوحة بعد الهجوم انخفض من 0.41 إلى 0.18 — أي أن النموذج كاد يتوقف عن إعادة إنتاج النصوص المنسية، حتى عندما حاولوا «إعادة تدريبه». بالإضافة إلى ذلك، خفضت MC من مساحة AUC الخام للعضوية (مقياس تحديد ما إذا كانت البيانات جزءاً من مجموعة التدريب) في 13 من أصل 14 حالة.
ومع ذلك، هناك جانب سلبي. في جميع التجارب، لوحظ انخفاض في فائدة النموذج على جانب retain: الأداة تجعل تعلّم النسيان أعمق، لكن النموذج يصبح أقل كفاءة في المهام المتعلقة بالمعرفة المحتفظ بها. يجب أخذ هذا الحل الوسط في الاعتبار عند سيناريو التطبيق: بالنسبة للمهام التي يكون فيها الأداء على بيانات retain أمراً بالغ الأهمية، ستكون هناك حاجة إلى ضبط دقيق للعتبات أو تنظيم أخف.
نسخة إنتاجية بدون مرجع retain
يعتمد مخطط MC الموصوف أعلاه على هوامش مرجعية تم الحصول عليها من استجابة «مرجعية» مُدرّبة على بيانات retain. لكن في الممارسة العملية، غالباً لا يتوفر الوصول إلى توزيع التدريب الأصلي. لمثل هذه الحالات، تم توفير نسخة نشر منفصلة: تتيح تحقيق نفس التحسينات دون استخدام مرجع مُدرّب على retain، واستبداله بعتبات محددة مسبقاً أو هوامش تحكم من مجموعة تعليمات عامة. وهذا يجعل الطريقة قابلة للتطبيق في المنتجات الحقيقية، حيث تم بالفعل إزالة بيانات تعلّم النسيان من النظام ويكون استعادة المرجع مستحيلة أو محظورة بموجب سياسة الخصوصية.
الاستنتاجات
الاستنتاج العملي الرئيسي من البحث: لا يمكن اعتبار تعلّم النسيان في النماذج اللغوية موثوقاً ما لم تؤخذ هندسة التحسين في الاعتبار. يفسر «انحدار الهامش» لماذا لا تصمد العديد من الطرق الجميلة على الورق حتى أمام هجمات إعادة التدريب الضعيفة، ويظهر الاتجاه للعمل المستقبلي. معايرة الهامش هي واحدة من أولى الأدوات الإضافية التي تحارب هذه الظاهرة بشكل هادف، وعلى الرغم من أنها لا تحل المشكلة بعد دون آثار جانبية، إلا أنها ترسم الإطار الصحيح: بدلاً من «نسيت مرة واحدة — نسيت إلى الأبد»، ينبغي التفكير في إنشاء مشهد خسائر يكون فيه استرجاع المنسي غير مربح ومكلفاً من حيث الطاقة.
