ما الذي يغيّره LocalProp
LocalProp إجراء تدريب يحدّث أوزان النموذج محليًا. ويقابله المؤلفون بالانتشار العكسي للتدرجات عبر النموذج بأكمله. لا يتوافق المرور الشامل مع التدريب المعقول بيولوجيًا. كما أنه غير فعّال من حيث الذاكرة. فالتدريب في الدماغ موضعي إلى حد كبير.
| المعيار | الانتشار العكسي للتدرجات عبر النموذج بأكمله | LocalProp |
|---|---|---|
| تحديث الأوزان | يمر عبر النموذج بأكمله | محلي |
| المعقولية البيولوجية | غير متوافق | يستند إلى التدريب الموضعي في الدماغ |
| الذاكرة | غير فعّال | لا يُستخدم سوى جزء من ذاكرة GPU القصوى |
| التحكم | لا توجد معلمة مستقلة | عدد الكتل التي تُحسَّن معًا |
الخلاصة: يستبدل LocalProp المرور الشامل بتحديثات محلية. وهذا يخفّف الضغط على الذاكرة.
مراحل التدريب
يتبع LocalProp مخطط «التدريب المسبق ثم الضبط الدقيق». وتتتابع المراحل بالترتيب.
- التدريب المسبق على I-JEPA.
- التحديث المحلي للأوزان.
- التقليم.
- ضبط دقيق نهائي قصير.
الخلاصة: يجمع المخطط بين التدريب المسبق والتحديثات المحلية والتقليم والضبط النهائي.
دور التقليم
ينقل التقليم إشارة التدريب من الكتل العليا إلى الكتل السفلى. ولا تقتصر هذه المرحلة على ضغط النموذج، بل تربط الكتل العليا والسفلى أثناء التدريب. الخلاصة: يعمل التقليم في LocalProp كقناة لنقل الإشارة بين الكتل.
الموازنة بين الدقة والذاكرة
يحدد عدد الكتل التي تُحسَّن معًا طول انتشار التدرج. ويعرّف المؤلفون هذا الطول بأنه معلمة عملية. تتحكم المعلمة في الموازنة بين الدقة واستخدام الذاكرة.
- ما الذي يتغير: طول انتشار التدرج.
- ما الذي تتحكم فيه: الموازنة بين الدقة والذاكرة.
- كيفية استخدامها: من خلال عدد الكتل التي تُحسَّن معًا.
الخلاصة: يتيح ضبط عدد الكتل وسيلة للتحكم في الموازنة.
النتائج ومعيار الاختيار
أجرى المؤلفون تجارب على عدة مجموعات بيانات. وشملت هذه التجارب معايير قياس واسعة النطاق، بما فيها ImageNet. يحقق LocalProp نتائج جيدة باستخدام جزء فقط من ذاكرة GPU القصوى. ولا يحدد النص النسبة الدقيقة. المعيار العملي: يناسب LocalProp الحالات التي يصطدم فيها المرور العكسي الشامل بحدود ذاكرة GPU. ويتيح عدد الكتل التي تُحسَّن معًا ضبط الموازنة.
