কেন ব্লক-স্তরের সারাংশ যথেষ্ট নাও হতে পারে
Block-level residual routing শেখার মাধ্যমে অবশিষ্ট সংযোগগুলোর সমন্বয়কে ব্যবহারিক করে তোলে: রাউটার ব্লকের সারাংশের ওপর নির্ভর করে। প্রতিটি সারাংশ মনোযোগ ও MLP-এর আপডেটের একটি সুশৃঙ্খল ধারাকে একটিমাত্র ক্রমযোজিত ভেক্টরে সংকুচিত করে।
- সারাংশটি ব্লকের মোট অবদান ধরে রাখে।
- তবে এটি ব্লকের অভ্যন্তরে আপডেটের গতিপথ বর্ণনা করে না।
ব্যবহারিক মানদণ্ড: ব্লকের মধ্যে অবশিষ্ট প্রবাহের গতির একটি মোটা দাগের সংকেত গুরুত্বপূর্ণ হলে, একটি ক্রমযোজিত সারাংশ যথেষ্ট নাও হতে পারে।
HAARES কীভাবে ব্লকের অভ্যন্তরের সংকেত যোগ করে
HAARES হলো অবশিষ্ট ভিত্তির একটি রাউটার, যা Kehan Wang-এর arXiv:2606.06564 গবেষণাপত্রে প্রস্তাব করা হয়েছে। এটি ব্লকের ক্রমযোজিত উৎস ধরে রাখে এবং সঙ্গে অর্ধেক ভাগে বিভক্ত একটি বিশদ ভিত্তি যোগ করে।
- ব্লকের প্রথম ও দ্বিতীয় অর্ধের অবশিষ্ট প্রবাহের আপডেটের পার্থক্য থেকে বিশদ ভিত্তি গণনা করা হয়।
- RMS-এর সঙ্গে সামঞ্জস্য রেখে ভিত্তিটিকে অনলাইনে হালনাগাদ করা হয়।
- প্রতিটি সাবলেয়ারে ঘন রাউটিং না করেই রাউটার ব্লকের অভ্যন্তরের গতিপথ সম্পর্কে মোটা দাগের তথ্য পায়।
ব্যবহারিক মানদণ্ড: HAARES প্রতিটি সাবলেয়ারকে আলাদাভাবে রাউট করার পরিবর্তে, ক্রমযোজিত উৎসের সঙ্গে একটি অতিরিক্ত বিশদ সংকেত যুক্ত করে।
পরীক্ষায় কোথায় প্রভাব দেখা গেছে
পরীক্ষাগুলোতে OpenWebText, বিভিন্ন ডোমেইনের ওপর অক্ষর-স্তরের বেঞ্চমার্ক এবং BPE টোকেনাইজেশনসহ OpenWebText অন্তর্ভুক্ত ছিল। ফলাফল মডেলের গভীরতার ওপর নির্ভরশীল ছিল।
| শর্ত | পর্যবেক্ষণ |
|---|---|
| কম গভীরতা | উন্নতি সামান্য বা অস্পষ্ট |
| 48-স্তরের মডেল | প্রভাব সবচেয়ে স্থিতিশীল |
| 48 স্তরসহ 201M কনফিগারেশন | তিনটি সিডেই HAARES, Block AttnRes-কে ছাড়িয়ে যায় |
| দুটি সিডসহ 453M পরীক্ষা | ফলাফল একই প্রবণতা দেখায় |
অ্যাবলেশন থেকে দেখা যায়, উৎসের পুনরাবৃত্তি, এলোমেলো চিহ্নের বিশদ সংকেত বা বিশদ উৎসের স্থির অফসেট দিয়ে এই প্রভাব ব্যাখ্যা করা যায় না। শুধু ব্লকের সংখ্যা বদলালেও এর ব্যাখ্যা মেলে না।
ব্যবহারিক মানদণ্ড: ফলাফলগুলো কম গভীরতার মডেলের তুলনায় 48-স্তরের মডেলের ক্ষেত্রে পদ্ধতিটির পক্ষে আরও স্থিতিশীল যুক্তি দেয়।
যে খরচগুলো বিবেচনায় রাখতে হবে
খরচ বিশ্লেষণে অতিরিক্ত FLOPs কম বলে উল্লেখ করা হয়েছে, তবে সময়ের খরচ শূন্য নয়। পদ্ধতিটি মেমরি ও রাউটিংয়ের খরচ বাড়ায়।
- মডেলের প্রস্থ বাড়ার সঙ্গে আপেক্ষিক গণনামূলক খরচ কমে আসে।
- আগে কনভার্জ করলে লক্ষ্যমাত্রায় পৌঁছানোর সময় কমতে পারে।
ব্যবহারিক মানদণ্ড: HAARES মূল্যায়নের সময় শুধু FLOPs নয়, মেমরি, রাউটিং এবং কনভার্জ করতে লাগা সময়ও বিবেচনা করা উচিত।
