نادرًا ما تلتقي النماذج اللغوية الكبيرة بالمستخدم في شكلها الأصلي. قبل تشغيلها، يتم ضبطها بدقة على الحوارات، وضغطها، وقياس كمّها، والتخلص من جزء من أوزانها. كل خطوة من هذه الخطوات تحقق فائدة عملية، لكنها دائمًا ما تترك أثرًا تقريبًا: قد يبدأ النموذج في التفكير بشكل أسوأ، أو نسيان الحقائق النادرة، أو فقدان الإحساس بالأسلوب. السؤال هو: هل يمكن استعادة المهارات دون إعادة تدريب كاملة على مجموعات بيانات ضخمة؟
لماذا تتأثر الجودة بعد الضبط الدقيق والضغط
عادةً ما يصاحب النسيان الكارثي عملية الضبط الدقيق الخاضع للإشراف (SFT). يتم تكييف النموذج مع تنسيق إجابات جديد، ويؤدي تحديث الأوزان إلى إعادة كتابة جزء من المعرفة القديمة بشكل غير مقصود. أما القياس الكمّي والتنقية فيعملان بشكل مختلف: فهما يوفران الذاكرة ويسرّعان الاستدلال، لكنهما يستبدلان الحسابات الدقيقة بحسابات تقريبية ويعطّلان جزءًا من الاتصالات. ونتيجة لذلك، لا يتشوه سلوك النموذج فحسب، بل يتشوه أيضًا تمثيله الداخلي للمعرفة.
قد تكون الأعراض الخارجية مختلفة — من فقدان الدقة الواقعية إلى الإجابات الرتيبة. ومع ذلك، فإن السبب مشترك: بنية الفضاء الكامن الذي "يفكر" فيه النموذج تتوقف عن التوافق مع تلك الخاصة بالنسخة الأصلية.
التقطير الذاتي بدلاً من إعادة التدريب
في ورقة arXiv:2604.15794، اقترح الباحثون إطار عمل الضبط الدقيق بالتقطير الذاتي (SDFT). الفكرة هي استخدام النموذج نفسه كمصدر للاستعادة. تعمل النسخة التالفة كطالب، بينما تعمل نسختها "السليمة" — المحفوظة قبل الضغط أو قبل SFT — كمعلم. في مرحلة الضبط الدقيق، يضبط الطالب إجاباته وحالاته الداخلية ليقترب من المعلم.
هذا ليس نقلًا كلاسيكيًا للمعرفة من نموذج كبير إلى نموذج صغير. هنا، المعلم والطالب هما في الواقع نفس البنية في مراحل مختلفة من العمر. لذلك تسمى العملية بالتقطير الذاتي: النموذج لا يتعلم شيئًا جديدًا جوهريًا، بل يستعيد تماسكه الداخلي المفقود.
ماذا يُظهر محاذاة المتعددات الكامنة
يفترض المؤلفون أن القدرات التوليدية لنماذج اللغات الكبيرة تعتمد بشكل أساسي على متعدد عالي الأبعاد تشكله الطبقات الكامنة. لا تتحدد جودة النموذج بالخلايا العصبية الفردية، بل بكيفية تنظيم التنشيطات في هذا الفضاء. يمكن تخيلها كسحابة نقاط: في النموذج المدرب جيدًا، تمتلك السحابة بنية مميزة، بينما يؤدي الضغط أو النسيان إلى تدميرها.
لقياس الاستعادة، تستخدم الدراسة محاذاة النواة المركزية (CKA) — وهي مقياس لتشابه التمثيلات الداخلية بين المعلم والطالب. تتميز CKA بأنها ثابتة تجاه التحولات المتعامدة والقياس. إنها لا تنتقد الدورات المنتظمة أو تمددات الإحداثيات، بل تلتقط بدقة التغيير في تكوين التنشيطات.
أظهرت التجارب ارتباطًا قويًا بين استعادة الأداء وزيادة محاذاة CKA. كلما اقترب متعدد الطالب من متعدد المعلم، كلما استعاد النموذج مهاراته المفقودة بشكل أفضل. وهذا يؤكد: التقطير الذاتي لا يعمل بشكل عشوائي، بل لأنه يحاذي البنية الهندسية للفضاء الكامن.
الاستنتاج العملي
فكرة استعادة النموذج من خلال التقطير ليست جديدة بحد ذاتها. تكمن حداثة النهج في تفسير سبب نجاحه، وفي طريقة التحقق من هذا التفسير. يمكن أن تصبح CKA أداة تشخيصية: إذا انخفضت المحاذاة بشكل حاد بعد القياس الكمّي أو التنقية، فإن النموذج يحتاج إلى "إصلاح". من ناحية أخرى، يسمح SDFT بتنفيذ هذا الإصلاح دون العودة إلى دورة تدريب كاملة.
تربط الدراسة بين إطار عمل عملي لاستعادة الأداء ونظرية هندسية للتمثيلات. وهذا يعطي صورة أوضح لما يحدث داخل نماذج اللغات الكبيرة أثناء الضغط، ولماذا يمكن للتقطير الذاتي استعادة القدرات المفقودة.
