لماذا يهدد SFT بعد RL قدرات الاستدلال
يطوّر التعلم المعزز قدرات نماذج اللغة الكبيرة على الاستدلال. وقد أصبح هذا النهج فعالًا في الضبط اللاحق لـ LLM. ويكيّف الضبط الدقيق الخاضع للإشراف اللاحق نموذج ما بعد RL مع مجالات معرفية أو أنواع سلوك جديدة. وقد يعيد هذا الضبط كتابة القدرات المكتسبة بشكل كبير.
الأساليب الحالية للحد من النسيان:
- إعادة تشغيل الخبرات؛
- التهيئة المتخصصة؛
- التحسين المقيّد بإسقاط التدرج.
إما أن تحقق هذه الأساليب احتفاظًا محدودًا بالقدرات، أو تتطلب قدرًا كبيرًا من الحسابات الإضافية. المعيار العملي: بالنسبة إلى نموذج ما بعد RL، يُختار الأسلوب الذي يقلل خطر إعادة كتابة قدرات الاستدلال.
الفضاء الصفري بوصفه موردًا للتكيّف
يوضح المؤلفون أن التنشيطات المرتبطة بالاستدلال تتركز في فضاءات جزئية منخفضة الأبعاد. وتبقى سعة كبيرة في الفضاء الصفري متاحة للتكيّف. ويمكن تقدير الفضاءات الصفرية التقريبية بشكل موثوق باستخدام عدد قليل من الأمثلة.
المعيار العملي: الأسلوب الذي ينشئ التحديثات في الفضاء الصفري يستفيد من السعة المتاحة. ولا يمسّ تنشيطات الاستدلال.
آلية عمل NB-LoRA
Null-Basis Low-Rank Adaptation (NB-LoRA) هو أسلوب للتكيّف الفعّال من حيث المعلمات مع نماذج LLM بعد RL. وقد اقتُرح في الورقة arXiv:2609.25618. ويحافظ الأسلوب على قدرات الاستدلال المكتسبة.
مراحل العمل:
- يُنشأ أساس صفري تقريبي ثابت انطلاقًا من تنشيطات الاستدلال.
- يُعاد تحديد معلمات تحديثات LoRA عبر هذا الأساس.
- يُصاغ الحفاظ على الاستدلال بوصفه قيدًا للحفاظ على الحالات الخفية على مستوى الطبقات.
- يُلتزم بهذا القيد طوال عملية الضبط الدقيق.
المعيار العملي: يُختار NB-LoRA عند الحاجة إلى إجراء SFT مع الحفاظ على قدرات الاستدلال لدى نموذج ما بعد RL.
مقارنة بالأساليب الحالية
يقارن الجدول بين الآليات والخصائص.
| المعيار | الأساليب الحالية | NB-LoRA |
|---|---|---|
| الآلية | إعادة تشغيل الخبرات، والتهيئة المتخصصة، والتحسين المقيّد بإسقاط التدرج | إعادة تحديد معلمات LoRA عبر أساس صفري تقريبي ثابت |
| الخاصية | احتفاظ محدود بالقدرات أو حسابات إضافية كبيرة | قيد للحفاظ على الحالات الخفية على مستوى الطبقات |
المعيار العملي: إذا كان الحفاظ على الاستدلال هو الأولوية، فإن NB-LoRA يوفر قيدًا مدمجًا. أما الأساليب الحالية فتتطلب الاختيار بين الاحتفاظ المحدود والحسابات الإضافية.
النتائج التجريبية ومعيار الاختيار
تشمل التجارب عدة نماذج LLM دُرّبت باستخدام RL ومجموعة متنوعة من المهام اللاحقة. ويحقق NB-LoRA جودة تكيّف تضاهي LoRA القياسي. ويحافظ الأسلوب على دقة الاستدلال عند مستوى يقارب المستوى السابق للضبط الدقيق. ويمتد هذا الحفاظ إلى معايير استدلال مؤجلة.
المعيار العملي: بالنسبة إلى نماذج LLM بعد RL التي يهدد فيها SFT قدرات الاستدلال، يُعد NB-LoRA خيارًا مرشحًا للاختبار على مهامك الخاصة.
