সামঞ্জস্যপূর্ণ গোষ্ঠীভিত্তিক মডেল মার্জিং: GRAM সাবস্পেসের পারস্পরিক হস্তক্ষেপ কমায়
GRAM পদ্ধতি প্রধান কোণগুলোর জ্যামিতির ভিত্তিতে নির্ধারণ করে, কোন ফাইন-টিউন করা মডেলগুলোকে তাদের উপস্থানগুলোর মধ্যে একত্রিত করা উচিত, এরপর গ্রুপগুলোর ভেতরে নিম্ন-র্যাঙ্ক মার্জ করে। এই পদ্ধতিতে শুধু ওজনই প্রয়োজন, প্রক্ষেপণজনিত ক্ষতি কমায় এবং ভাষা, দৃষ্টি ও চিকিৎসাবিষয়ক পরীক্ষায় সুবিধা দেখায়।
সাবস্পেস ইন্টারফেরেন্সের সমস্যা
বহু-কার্যভিত্তিক স্থাপনার জন্য বিভিন্ন মডেলকে একটিতে একীভূত করা প্রয়োজন। স্বাস্থ্যসেবার মতো নিয়ন্ত্রিত ক্ষেত্রে ডেটা প্রায়ই স্থানীয়ভাবেই থাকে। তাই একীভূতকরণে শুধু ফাইন-টিউন করা ওজনই ব্যবহার করা যায়।
আগের পদ্ধতিগুলো সব কাজের জন্য একইভাবে একীভূত করে। শেখা সাবস্পেসগুলোর মধ্যকার জ্যামিতিক সম্পর্ক তারা বিবেচনায় নেয় না। কাজগুলোর আপডেট যদি অসামঞ্জস্যপূর্ণ সাবস্পেসে অবস্থান করে, তাহলে একটি সাধারণ নিম্ন-র্যাঙ্ক ভিত্তিতে প্রক্ষেপণ করলে গুরুত্বপূর্ণ দিকগুলো বাদ পড়ে যায়। লেখকেরা এই ঘটনাকে subspace interference বলেন।
প্রতিটি কাজের প্রক্ষেপণজনিত ত্রুটি প্রধান কোণগুলোর সামঞ্জস্যের ওপর নির্ভর করে। প্রধান কোণগুলোর সামঞ্জস্য থেকে বোঝা যায়, কোনো কাজের সাবস্পেস সাধারণ সাবস্পেসের সঙ্গে কতটা মেলে। উপসংহার: একইভাবে একীভূত করলে পৃথক কাজের জন্য গুরুত্বপূর্ণ দিকগুলো হারানোর ঝুঁকি তৈরি হয়।
GRAM-এর কার্যপদ্ধতি: প্রধান কোণ অনুযায়ী গোষ্ঠীবদ্ধকরণ
GRAM (Group-wise Rank-Aware Model Merging) টাস্ক ভেক্টরগুলোর প্রধান কোণের জ্যামিতি ব্যবহার করে। পদ্ধতিটি তিনটি ধাপে কাজ করে:
- টাস্ক ভেক্টরগুলোর মধ্যকার প্রধান কোণ গণনা করা।
- এই কোণগুলোর ভিত্তিতে কোন কাজগুলো একসঙ্গে একীভূত হবে তা নির্ধারণ করা।
- প্রতিটি গোষ্ঠীর মধ্যে SVD-ভিত্তিক প্রচলিত একীভূতকরণ সম্পন্ন করা।
একীভূতকরণের ধাপে পদ্ধতিটি শুধু ফাইন-টিউন করা ওজন ব্যবহার করে। এর জন্য মূল ডেটায় প্রবেশাধিকার প্রয়োজন হয় না। লেখকদের দাবি, জ্যামিতিকভাবে সামঞ্জস্যপূর্ণ কাজগুলোকে গোষ্ঠীবদ্ধ করলে প্রতিটি গোষ্ঠীর মধ্যে প্রক্ষেপণজনিত ত্রুটি প্রমাণযোগ্যভাবে কমে।
ব্যবহারিক মানদণ্ড: ডেটা স্থানান্তর করা সম্ভব না হলে এবং কাজগুলো অসামঞ্জস্যপূর্ণ সাবস্পেসে অবস্থান করতে পারলে GRAM উপযোগী। একীভূত করার আগে কাজগুলোকে সামঞ্জস্যপূর্ণ গোষ্ঠীতে ভাগ করার উপায় দেয় এই পদ্ধতি।
K=2 হলে কী পরিবর্তন হয়
শুধু একটি মডেল যোগ করার পরিস্থিতিতে (K=2) GRAM-এর প্রভাব দেখা যায়। এই ক্ষেত্রে পদ্ধতিটি subspace interference উল্লেখযোগ্যভাবে কমায়। পরীক্ষায় এটি ধারাবাহিকভাবে আগের একীভূতকরণ পদ্ধতিগুলোর চেয়ে ভালো ফল করে।
পরীক্ষাগুলো তিনটি ক্ষেত্রকে অন্তর্ভুক্ত করে:
- ভাষা অনুধাবন — GLUE with Flan-T5;
- কম্পিউটার ভিশন — 8-task CLIP;
- চিকিৎসাবিষয়ক instruction tuning — Qwen2-7B-Instruct with four English/Chinese medical LoRAs.
উপসংহার: দুটি মডেল একীভূত করলেও সুবিধাটি দেখা যায়। একটি ফাইন-টিউন করা মডেল যোগ করার ন্যূনতম পরিস্থিতিতে, ইন্টারফেরেন্স কমানোর জন্য GRAM একটি পরীক্ষিত বিকল্প।
নির্বাচনের মানদণ্ড
একইভাবে একীভূতকরণ এবং গোষ্ঠীভিত্তিক পদ্ধতির মধ্যে নির্বাচন নির্ভর করে কাজের শর্তের ওপর। নিচে GRAM-এর বর্ণনা থেকে পাওয়া মানদণ্ডগুলো দেওয়া হলো।
| মানদণ্ড | কী বিবেচনা করবেন |
|---|---|
| ডেটায় প্রবেশাধিকার | একীভূতকরণের সময় শুধু ফাইন-টিউন করা ওজন পাওয়া যায়। |
| কাজের জ্যামিতি | কাজগুলো অসামঞ্জস্যপূর্ণ সাবস্পেসে অবস্থান করতে পারে। |
| ইন্টারফেরেন্সের ঝুঁকি | সাধারণ ভিত্তিতে প্রক্ষেপণ করলে গুরুত্বপূর্ণ দিকগুলো বাদ পড়তে পারে। |
| একীভূতকরণের পদ্ধতি | সামঞ্জস্যপূর্ণ কাজগুলোকে গোষ্ঠীবদ্ধ করলে গোষ্ঠীর মধ্যে প্রক্ষেপণজনিত ত্রুটি কমে। |
| পরীক্ষিত পরিস্থিতি | K=2: বিদ্যমান মডেলে একটি মডেল যোগ করা। |
ব্যবহারিক উপসংহার: ডেটা স্থানীয়ভাবে থাকলে এবং সাবস্পেসের জ্যামিতির দিক থেকে কাজগুলো ভিন্নধর্মী হলে, গোষ্ঠীভিত্তিক একীভূতকরণ গুরুত্বপূর্ণ দিক হারানোর ঝুঁকি কমায়। সব কাজের জন্য একইভাবে একীভূত করলে এই ঝুঁকি বিবেচনায় আসে না।
সাধারণ প্রশ্নোত্তর
বিভিন্ন উপাদান
সব উপাদান
ইন্টারঅ্যাকটিভ XR ডেভেলপমেন্টে কোডিং এজেন্টদের মূল্যায়ন: GenXR-Bench-এর ফলাফল
প্রকাশিত হয়েছে GenXR-Bench—ইন্টারেক্টিভ XR ডেভেলপমেন্টে কোডিং এজেন্টগুলোর এন্ড-টু-এন্ড মূল্যায়নের জন্য ১১২টি বিশেষজ্ঞ-নির্ধারিত কাজের একটি সেট: ফিচার উন্নত করা ও ত্রুটি ঠিক করা থেকে শুরু করে ভোক্তা-পর্যায়ের ডিভাইসে আচরণ যাচাইসহ অ্যাপ্লিকেশন তৈরি পর্যন্ত। পরীক্ষিত দশটি মডেলের মধ্যে সেরা ফল ছিল ৫০.৯% Pass@1; বারবার দেখা ব্যর্থতার মধ্যে রয়েছে সেন্সরের অ্যাসিঙ্ক্রোনাস ইভেন্ট সামলানো, বাস্তব স্থানের সঙ্গে অবজেক্ট যুক্ত করা এবং ভৌত প্রেক্ষাপটে মিথস্ক্রিয়া বোঝা।
5 নভেম্বর 2026
স্কেলার পুরস্কার থেকে প্যারেটো ফ্রন্টিয়ার: বহু-উদ্দেশ্যভিত্তিক রিইনফোর্সমেন্ট লার্নিংয়ের মাধ্যমে LLM-ভিত্তিক RTL সংশ্লেষণ
একটি ভাষা মডেলকে একটি মাত্র নকশা নয়, বরং ক্ষেত্রফল, বিলম্ব ও বিদ্যুৎ খরচের মধ্যে বিভিন্ন সমঝোতাসহ একগুচ্ছ RTL প্রার্থী তৈরি করতে প্রশিক্ষণ দেওয়ার একটি পদ্ধতি প্রস্তাব করা হয়েছে; পুরস্কার নির্ধারিত হয় প্যারেটো ফ্রন্টের হাইপারভলিউমে প্রতিটি বিকল্পের অবদানের ভিত্তিতে। RTLLM v2-তে আপেক্ষিক হাইপারভলিউম PPA অপ্টিমাইজেশনবিহীন বেসলাইন সংস্করণের তুলনায় ১৩.৩ শতাংশ পয়েন্ট এবং একক-লক্ষ্যভিত্তিক রিইনফোর্সমেন্ট লার্নিংয়ের তুলনায় ১৪.৪ শতাংশ পয়েন্ট বেড়েছে।
5 নভেম্বর 2026
চিকিৎসাবিষয়ক LLM-গুলো নির্দেশিকা সংশোধনের কথা জানে, কিন্তু প্রায়ই পুরোনো নিয়ম অনুযায়ী উত্তর দেয়
1709টি ক্লিনিক্যাল নির্দেশিকার পরিবর্তন নিয়ে ChronoEvo-এর গবেষণায় দেখা গেছে: মূল মডেলে 90,8% উত্তর নতুনত্বটি শনাক্ত করেছিল, তবে মাত্র 58,5% তা সম্পূর্ণভাবে প্রয়োগ করেছিল; 32,3 শতাংশ পয়েন্টের এই ব্যবধান 14টি মডেলেই বজায় ছিল। আপডেটগুলোর দৃশ্যমানতা বাড়িয়েও নতুন নিয়মগুলো ক্লিনিক্যাল নির্দেশিকায় সম্পূর্ণভাবে অন্তর্ভুক্ত করার ক্ষেত্রে উল্লেখযোগ্য উন্নতি হয়নি।
4 নভেম্বর 2026