রাউটার কী পায়
MoE ভাষা মডেলে রাউটার টোকেনের হিডেন স্টেটের ভিত্তিতে বিশেষজ্ঞদের বেছে নেয় এবং তাদের ওয়েট নির্ধারণ করে। এ সময় এটি সীমিত কনটেক্সট তথ্য ব্যবহার করে।
Attention-Aware Routing (AAR) এই সিগন্যালের সঙ্গে সাময়িক ও বর্ণালিগত বৈশিষ্ট্য যোগ করে। এগুলো অ্যাটেনশন ওয়েটের একটি স্লাইডিং উইন্ডো থেকে বের করা হয়।
- সাধারণ রাউটিং টোকেনের হিডেন স্টেটের ওপর নির্ভর করে।
- AAR অ্যাটেনশন বৈশিষ্ট্য যোগ করে, যা হিডেন স্টেট থেকে আলাদাভাবে কনটেক্সট স্টেটের সারাংশ তুলে ধরে।
ব্যবহারিক মানদণ্ড: বিশেষজ্ঞ বাছাই বিশ্লেষণের সময় টোকেন সিগন্যাল এবং কনটেক্সটের অতিরিক্ত সারাংশের মধ্যে পার্থক্য করা দরকার।
AAR কীভাবে কাজ করে
AAR অ্যাটেনশন ওয়েটের একটি স্লাইডিং উইন্ডো থেকে সাময়িক ও বর্ণালিগত বৈশিষ্ট্য সংগ্রহ করে। এভাবে রাউটার টোকেনের হিডেন স্টেট থেকে আলাদা একটি কনটেক্সট সিগন্যাল ব্যবহার করে।
লেখকেরা বেস ট্রান্সফরমারকে পুরোপুরি ফ্রিজ করে রাখেন এবং শুধু রাউটিং প্যারামিটারগুলো প্রশিক্ষণ দেন। এর ফলে রাউটিংকে একমাত্র পরিবর্তনশীল হিসেবে অধ্যয়ন করা যায়।
মূল্যায়নের মানদণ্ড হলো, রাউটিংয়ের প্রভাবকে মডেলের অন্য প্যারামিটারগুলোর পরিবর্তন থেকে আলাদা করে দেখা।
রাউটিং কেন অ্যাটেনশন বদলে দেয়
স্তরগুলোর ধারাবাহিকতার মাধ্যমে রাউটিং ও অ্যাটেনশন পরস্পর যুক্ত। l স্তরে রাউটিংয়ের পরিবর্তন রেসিডুয়াল স্ট্রিমের মধ্য দিয়ে প্রবাহিত হয় এবং l+1 স্তরে অ্যাটেনশন সিঙ্ককে আরও জোরালো করে।
এর ফলে অ্যাটেনশনের প্রক্রিয়া সরাসরি আপডেট না করেও অ্যাটেনশন বদলে যায়। অর্থাৎ, বিশেষজ্ঞ বাছাই পরবর্তী কনটেক্সট প্রক্রিয়াকরণে প্রভাব ফেলতে পারে।
ফলাফল বিশ্লেষণের সময় এই সংযোগটি বিবেচনা করা জরুরি: এখানে অ্যাটেনশন শুধু রাউটারের ইনপুট সিগন্যাল নয়, রাউটিংয়ের পরিণতি-শৃঙ্খলেরও একটি অংশ।
ফলাফলে কী দেখা গেছে
OLMoE-তে AAR, শুধু রাউটিং ব্যবহার করা বেসলাইন SFT-এর তুলনায় GSM8K ফল 3,37 শতাংশ পয়েন্ট বাড়িয়েছে।
| সূচক | AAR-এর ফলাফল |
|---|---|
| GSM8K | বেসলাইন সংস্করণের তুলনায় +3,37 শতাংশ পয়েন্ট |
| ভুল উত্তর | দীর্ঘ, ভিন্নমুখী জেনারেশনে উত্তর ছোট হয়েছে |
| সঠিক উত্তর | দৈর্ঘ্য অপরিবর্তিত ছিল |
এই ফলাফলগুলো একটি নির্দিষ্ট মূল্যায়নকে তুলে ধরে। এগুলো থেকে বোঝা যায় না যে AAR সব কাজে একইভাবে প্রভাব ফেলে।
সংস্করণগুলোর তুলনা করার সময় কাজের ফলাফল ও জেনারেশনের দৈর্ঘ্য আলাদাভাবে বিবেচনা করা উচিত: এই সূচকগুলো ভিন্নভাবে পরিবর্তিত হয়েছে।
কোন স্তরে AAR চালু করা হচ্ছে, তা কেন গুরুত্বপূর্ণ
AAR-এর প্রভাব মডেলের গভীরতার ওপর নির্ভর করে। বিভিন্ন স্তরে নির্বিচারে এটি প্রয়োগ করলে তথ্যগত পুনরুদ্ধারের মান কমে যেতে পারে।
আরও গভীর স্তরে প্রয়োগ করলে গাণিতিক যুক্তির সুবিধা বজায় থাকে। এতে বিভিন্ন গভীরতায় তথ্য পুনরুদ্ধার ও যুক্তির মধ্যে একটি দ্বন্দ্ব দেখা যায়।
- তথ্যগত পুনরুদ্ধারের মূল্যায়নে, বিভিন্ন স্তরে AAR প্রয়োগ করলে তা এর মান কমায় কি না, তা যাচাই করা জরুরি।
- গাণিতিক যুক্তির ক্ষেত্রে, আরও গভীর স্তরের ফলাফল বিবেচনা করা গুরুত্বপূর্ণ।
- বেছে বেছে প্রয়োগ করলে প্রতিটি গভীরতায় অ্যাটেনশন রাউটিংয়ের জন্য কী তথ্য বহন করে, তা অনুসন্ধান করা যায়।
ব্যবহারিক মানদণ্ড হলো, স্তরগুলোকে আলাদাভাবে মূল্যায়ন করা—মডেলের সব গভীরতায় অ্যাটেনশন সিগন্যালকে সমান উপযোগী ধরে না নেওয়া।
