LocalProp যা পরিবর্তন করে
LocalProp হলো একটি প্রশিক্ষণ পদ্ধতি, যা মডেলের ওজন স্থানীয়ভাবে হালনাগাদ করে। এর লেখকেরা একে পুরো মডেলজুড়ে গ্রেডিয়েন্টের ব্যাকপ্রোপাগেশনের বিপরীতে তুলে ধরেছেন। ব্যাকপ্রোপাগেশন জৈবিকভাবে বাস্তবসম্মত প্রশিক্ষণের সঙ্গে মেলে না। এটি মেমরির দিক থেকেও অদক্ষ। মস্তিষ্কে প্রশিক্ষণ অনেকটাই স্থানীয়ভাবে ঘটে।
| মানদণ্ড | গ্রেডিয়েন্টের ব্যাকপ্রোপাগেশন | LocalProp |
|---|---|---|
| ওজন হালনাগাদ | পুরো মডেলজুড়ে ঘটে | স্থানীয়ভাবে |
| জৈবিক বাস্তবসম্মততা | মেলে না | মস্তিষ্কে স্থানীয় প্রশিক্ষণের ওপর নির্ভর করে |
| মেমরি | অদক্ষ | GPU-এর সর্বোচ্চ মেমরির কেবল একটি অংশ ব্যবহৃত হয় |
| নিয়ন্ত্রণ | আলাদা কোনো প্যারামিটার নেই | যৌথভাবে অপ্টিমাইজ করা ব্লকের সংখ্যা |
সারকথা: LocalProp ব্যাকপ্রোপাগেশনের বদলে স্থানীয় হালনাগাদ ব্যবহার করে। এতে মেমরির ওপর চাপ কমে।
প্রশিক্ষণের ধাপ
LocalProp «pre-training then fine-tuning» পদ্ধতি অনুসরণ করে। ধাপগুলো ধারাবাহিকভাবে সাজানো।
- I-JEPA-তে প্রাক-প্রশিক্ষণ।
- ওজনের স্থানীয় হালনাগাদ।
- প্রুনিং।
- সংক্ষিপ্ত চূড়ান্ত ফাইন-টিউনিং।
সারকথা: এই পদ্ধতিতে প্রাক-প্রশিক্ষণ, স্থানীয় হালনাগাদ, প্রুনিং এবং চূড়ান্ত ফাইন-টিউনিং একত্র করা হয়েছে।
প্রুনিংয়ের ভূমিকা
প্রুনিং ওপরের ব্লকগুলো থেকে নিচের ব্লকগুলোতে প্রশিক্ষণ সংকেত পাঠায়। এই ধাপটি কেবল মডেল সংকুচিত করার মধ্যে সীমাবদ্ধ নয়। প্রশিক্ষণের সময় এটি ওপরের ও নিচের ব্লকগুলোকে সংযুক্ত করে। সারকথা: LocalProp-এ প্রুনিং ব্লকগুলোর মধ্যে সংকেত পাঠানোর মাধ্যম হিসেবে কাজ করে।
নির্ভুলতা ও মেমরির মধ্যে সমঝোতা
যৌথভাবে অপ্টিমাইজ করা ব্লকের সংখ্যা গ্রেডিয়েন্ট প্রচারের দৈর্ঘ্য নির্ধারণ করে। লেখকেরা এই দৈর্ঘ্যকে একটি ব্যবহারিক প্যারামিটার হিসেবে সংজ্ঞায়িত করেছেন। এই প্যারামিটার নির্ভুলতা ও মেমরি ব্যবহারের মধ্যে সমঝোতা নিয়ন্ত্রণ করে।
- কী পরিবর্তিত হয়: গ্রেডিয়েন্ট প্রচারের দৈর্ঘ্য।
- কী নিয়ন্ত্রণ করে: নির্ভুলতা ও মেমরির ভারসাম্য।
- কীভাবে ব্যবহৃত হয়: যৌথভাবে অপ্টিমাইজ করা ব্লকের সংখ্যার মাধ্যমে।
সারকথা: ব্লকের সংখ্যা সমন্বয় করলে ভারসাম্য নিয়ন্ত্রণের একটি উপায় পাওয়া যায়।
ফলাফল ও নির্বাচনের মানদণ্ড
লেখকেরা বেশ কয়েকটি ডেটাসেটে পরীক্ষা চালিয়েছেন। এর মধ্যে ImageNet-সহ বৃহৎ-পরিসরের বেঞ্চমার্ক রয়েছে। GPU-এর সর্বোচ্চ মেমরির কেবল একটি অংশ ব্যবহার করেও LocalProp ভালো ফল অর্জন করে। লেখায় নির্দিষ্ট অংশের পরিমাণ উল্লেখ করা হয়নি। ব্যবহারিক মানদণ্ড: GPU মেমরির সীমার কারণে ব্যাকপ্রোপাগেশন আটকে গেলে LocalProp উপযোগী। যৌথভাবে অপ্টিমাইজ করা ব্লকের সংখ্যা ভারসাম্য সমন্বয় করতে দেয়।
