যখন একটি বড় ভাষার মডেলকে একাধিক কাজ সমাধান করতে হয়, তখন প্রতিটি কাজের জন্য আলাদাভাবে ফাইন-টিউন করা ব্যয়বহুল। তাই কার্যকরী ফাইন-টিউনিং (PEFT) ব্যবহার করা হয়, এবং এর স্বর্ণমান হলো LoRA পদ্ধতি। কিন্তু ক্লাসিক্যাল LoRA মূলত একটি কাজের জন্য ডিজাইন করা। একে মাল্টি-টাস্ক পরিস্থিতিতে প্রসারিত করার চেষ্টা করলে গবেষকরা সাধারণত আর্কিটেকচারে আলাদা অ্যাডাপ্টার এবং হেড যোগ করেন এবং তাদের মধ্যে হস্তক্ষেপ রোধ করতে একটি রাউটার ব্যবহার করেন যা অনুরোধগুলো বিতরণ করে। এই সমাধানটি যৌক্তিক মনে হলেও, সাম্প্রতিক একটি গবেষণা «From Isolation to Alignment: Unified LoRA for Efficient Multi-Task Learning» (arXiv:2508.05078) অনুযায়ী, এটি অপ্রয়োজনীয় হতে পারে।
গবেষণার লেখক — Jinda Liu, Yi Chang এবং Yuan Wu — পদ্ধতিটিকে নতুন করে ভাবার প্রস্তাব দিয়েছেন। প্রতিটি কাজের জ্ঞানকে আলাদা করার পরিবর্তে, তারা একটি একীভূত LoRA অ্যাডাপ্টার এবং কাজগুলোর মধ্যে উপস্থাপনার সমন্বয়ের উপর জোর দিয়েছেন। পদ্ধতিটির নাম রাখা হয়েছে Align-LoRA।
জ্ঞানের বিচ্ছিন্নতা থেকে একীভূতকরণে
সাধারণ মাল্টি-টাস্ক LoRA দেখতে অনেকটা কনস্ট্রাক্টরের মতো: প্রতিটি কাজের জন্য আলাদা মডিউল, গতিশীল অনুরোধ রাউটিং এবং প্রায়শই আউটপুটে আলাদা "হেড"। ধারণা করা হয় যে আর্কিটেকচারাল বিচ্ছিন্নতা কাজগুলোকে পারস্পরিক হস্তক্ষেপ থেকে রক্ষা করে এবং বিশেষায়িত জ্ঞান সংরক্ষণে সহায়তা করে। কিন্তু এই পদ্ধতির একটি গুরুতর খরচ রয়েছে — রাউটিং ওজনগুলোকে একটি একীভূত মডেলে একত্রিত করতে দেয় না। ফলে ইনফারেন্স একটি ব্যয়বহুল শাখাবিশিষ্ট গণনায় পরিণত হয়: প্রতিবার রুট নির্ধারণ করতে হয় এবং শুধুমাত্র নির্দিষ্ট কিছু কম্পোনেন্ট চালাতে হয়। লেটেন্সি বাড়ে এবং প্রোডাকশন ব্যবহার জটিল হয়ে ওঠে।
গবেষণার লেখকরা এই চিত্রে একটি কৌতূহলোদ্দীপক দ্বন্দ্ব খুঁজে পান। মডেলের একটি সরলীকৃত সংস্করণ, যেখানে একাধিক হেড আছে কিন্তু কোনো রাউটিং নেই এবং কোনো বাধ্যতামূলক দক্ষতা বিভাজন নেই, জটিল diversity-ভিত্তিক বেসলাইনগুলোর চেয়ে ভালো ফলাফল দেখায়। অধিকন্তু, এই ধরনের মডেলের হেডগুলো অত্যন্ত অপ্রয়োজনীয়: তারা অভ্যন্তরীণ উপস্থাপনায় প্রায় একে অপরের থেকে আলাদা নয়। এটিকে ত্রুটি হিসেবে দেখার পরিবর্তে, গবেষকরা সিদ্ধান্ত নেন — অপ্রয়োজনীয়তা একটি লক্ষণ হতে পারে যে কাজগুলো যতটা মনে হয় তার চেয়ে বেশি সম্পর্কিত।
মাল্টি-টাস্ক LoRA-এর প্যারাডক্স
আরও তাৎপর্যপূর্ণ ছিল একটি মাত্র LoRA অ্যাডাপ্টার নিয়ে পরীক্ষা, যার র্যাঙ্ক কেবল বাড়ানো হয়েছিল। এই ধরনের একজাতীয় মডিউল, কোনো হেড বা শাখা ছাড়াই, প্রায় জটিল বহু-উপাদান সিস্টেমের স্তরে পৌঁছেছে। এর অর্থ হলো, জটিল কাঠামো গুণমানে কোনো সিদ্ধান্তমূলক সুবিধা দেয় না — বরং প্রশিক্ষণ এবং বাস্তবায়নে অতিরিক্ত জটিলতা তৈরি করে। একাধিক আলাদা অ্যাডাপ্টারের সমান মাত্রার একটি একীভূত অ্যাডাপ্টার খারাপ নয়, বরং কখনও কখনও ভালো কাজ করে।
এই প্যারাডক্স শুধুমাত্র নির্দিষ্ট আর্কিটেকচার নয়, বরং "বিচ্ছিন্নতার" পুরো দর্শনকেই প্রশ্নবিদ্ধ করে। সম্ভবত, কাজগুলোকে মডেলের বিভিন্ন সাবস্পেসে ভাগ করার প্রচেষ্টা তাদের একে অপরকে শক্তিশালী করার সুযোগ থেকে বঞ্চিত করে। তখন মাল্টি-টাস্কিং একই কাঠামোর মধ্যে লুকানো সমান্তরাল সিঙ্গেল-টাস্ক ফাইন-টিউনিংয়ের একটি সেটে পরিণত হয়। একাধিক শাখা বজায় রাখার সমস্ত অতিরিক্ত খরচ তখনও থেকে যায়।
Align-LoRA: বিভাজনের পরিবর্তে সমন্বয়
প্রবন্ধে প্রস্তাবিত সমাধানটি মার্জিত দেখাচ্ছে। লেখকরা স্ট্যান্ডার্ড LoRA ধরে রেখেছেন: একটি অ্যাডাপ্টার, সাধারণ আর্কিটেকচার, কোনো রাউটিং ছাড়াই। প্রধান পরিবর্তনটি লস ফাংশনে। Align-LoRA পদ্ধতি একটি বিশেষ টার্ম যোগ করে — alignment loss, যা মডেলকে সমস্ত কাজের জন্য একটি সাধারণ লুকানো স্থান তৈরি করতে উৎসাহিত করে। উপস্থাপনাগুলোকে কঠোরভাবে বিভিন্ন কোণে বিভক্ত করার পরিবর্তে, প্রশিক্ষণ তাদের মধ্যে সামঞ্জস্য, সাধারণ প্যাটার্ন এবং পারস্পরিক উপকারী বৈশিষ্ট্য খোঁজে। কাজগুলো প্যারামিটারের জন্য প্রতিযোগিতা করা বন্ধ করে দেয় — তারা বিভিন্ন প্রসঙ্গে একই উপস্থাপনা ব্যবহার করতে শেখে।
এছাড়াও, অ্যাডাপ্টারটি নিজেই স্ট্যান্ডার্ড ওজন মার্জিং প্রক্রিয়ার সাথে সম্পূর্ণ সামঞ্জস্যপূর্ণ থাকে। প্রশিক্ষণের পর, নিম্ন-র্যাঙ্কের ম্যাট্রিক্সগুলো কোনো অতিরিক্ত স্তর ছাড়াই বড় মডেলের মূল ওজনের সাথে যুক্ত হয়। ইনফারেন্স বেস নেটওয়ার্কের মতো একই গতিতে সম্পাদিত হয় — শূন্য অতিরিক্ত লেটেন্সি। এটি রাউটেড সিস্টেমের সাথে তীব্রভাবে বৈপরীত্য, যেখানে প্রতিটি ধাপে অতিরিক্ত গণনার প্রয়োজন হয়।
লেখকরা জোর দিয়ে বলেন যে, মডিউলগুলো কীভাবে বিভক্ত তা গুরুত্বপূর্ণ নয়, বরং উপস্থাপনাগুলো কতটা ভালোভাবে সারিবদ্ধ তা গুরুত্বপূর্ণ। লসের মাধ্যমে সমন্বয় যেকোনো আনুষ্ঠানিক আর্কিটেকচারাল বিভাজনের চেয়ে বেশি কার্যকর, কারণ এটি মডেলটিকে পূর্বনির্ধারিত প্যাটার্নে সীমাবদ্ধ করে না। সাধারণ লুকানো স্থানটি নির্দিষ্ট কাজের সেটের জন্য গঠিত হয়, তাদের থেকে সর্বাধিক সুবিধা আহরণ করে।
পরীক্ষাগুলো কী দেখিয়েছে
কাজে পরিচালিত তাত্ত্বিক বিশ্লেষণটি বৃহৎ আকারের পরীক্ষা দ্বারা সমর্থিত। Align-LoRA ধারাবাহিকভাবে মাল্টি-টাস্ক কার্যকরী ফাইন-টিউনিংয়ের বিদ্যমান পদ্ধতিগুলোকে ছাড়িয়ে যায়। পদ্ধতির সরলতা এটিকে আরও নির্ভুল হতে বাধা দেয় না: বেশ কয়েকটি কাজে এটি ক্লাসিক্যাল মাল্টি-হেড LoRA ভেরিয়েন্ট এবং আরও নতুন diversity-ভিত্তিক সমাধান উভয়ের তুলনায় ফলাফল উন্নত করে।
মজার বিষয় হলো, প্রভাবটি র্যাঙ্ক বৃদ্ধি বা প্যারামিটারের সংখ্যা বাড়ানোর মধ্যে সীমাবদ্ধ নয়। নিয়ন্ত্রণ পরীক্ষাগুলো দেখায়: সমন্বয়ের উপর স্পষ্ট লসই মূল উন্নতি দেয়। বড় র্যাঙ্ক একটি একীভূত অ্যাডাপ্টারকে আরও জ্ঞান শোষণ করতে সাহায্য করে, তবে alignment loss-ই জ্ঞানের ভাণ্ডারকে একটি সুসংগত মাল্টি-টাস্ক উপস্থাপনায় রূপান্তরিত করে।
ফলস্বরূপ, Align-LoRA একটি সহজ এবং ব্যবহারিক দৃষ্টান্তে ফিট করে: একটি অ্যাডাপ্টার, সাধারণ লুকানো স্থান, কোনো রাউটিং নেই। প্রয়োগের ক্ষেত্রে, এর অর্থ হলো মডেলটিকে দ্রুত নতুন কাজের সেটের সাথে খাপ খাওয়ানো যায়, ইনফারেন্সের গতি বিসর্জন না দিয়ে এবং জটিল ইঞ্জিনিয়ারিং সমাধান ছাড়াই।
উপসংহার
নতুন কাজটি শুধুমাত্র একটি নির্দিষ্ট পদ্ধতির প্রস্তাবই দেয় না, বরং মাল্টি-টাস্ক LoRA সম্পর্কে প্রচলিত ধারণাগুলো পুনর্বিবেচনা করতে বাধ্য করে। ফলাফল অনুযায়ী, আর্কিটেকচারাল বিচ্ছিন্নতার পেছনে ছুটে চলা ছিল ইঞ্জিনিয়ারিং অভ্যাস, প্রয়োজনীয়তা নয়। উপস্থাপনার সঠিক সমন্বয়ের সাথে একটি একীভূত অ্যাডাপ্টার খারাপ কাজ করে না, বরং প্রায়শই ভালো করে, এবং বাস্তব সিস্টেমে ব্যবহারের জন্য উল্লেখযোগ্যভাবে বেশি সুবিধাজনক থাকে।
গবেষণাটি ইতিমধ্যেই arXiv-তে উপলব্ধ, লেখকরা কোডও প্রকাশ করেছেন, তাই ফলাফলগুলো পুনরুত্পাদন করা যায় এবং নিজের কাজে পরীক্ষা করা যায়। সম্ভবত, Align-LoRA-ই সেই সহজ সমাধান হয়ে উঠবে যা মাল্টি-টাস্ক কার্যকরী ফাইন-টিউনিংকে পরীক্ষামূলক কৌতূহল থেকে শিল্প অনুশীলনের মানদণ্ডে রূপান্তরিত করবে।
