जब किसी बड़े भाषा मॉडल को कई कार्य हल करने होते हैं, तो हर एक के लिए अलग से फाइन-ट्यूनिंग करना महंगा पड़ता है। इसलिए प्रभावी फाइन-ट्यूनिंग (PEFT) का उपयोग किया जाता है, और इसका स्वर्ण मानक LoRA विधि है। लेकिन क्लासिकल LoRA मुख्य रूप से एक ही कार्य के लिए डिज़ाइन किया गया है। जब इसे मल्टी-टास्क परिदृश्यों तक विस्तारित करने की कोशिश की जाती है, तो शोधकर्ता आमतौर पर आर्किटेक्चर में अलग-अलग एडेप्टर और हेड जोड़ते हैं, और उन्हें एक-दूसरे में हस्तक्षेप से बचाने के लिए एक राउटर जोड़ते हैं जो अनुरोधों को वितरित करता है। ऐसा समाधान तार्किक लगता है, हालाँकि, जैसा कि हालिया शोधपत्र "From Isolation to Alignment: Unified LoRA for Efficient Multi-Task Learning" (arXiv:2508.05078) दिखाता है, यह अनावश्यक हो सकता है।
शोध के लेखक — Jinda Liu, Yi Chang और Yuan Wu — ने स्वयं दृष्टिकोण पर पुनर्विचार करने का प्रस्ताव रखा। प्रत्येक कार्य के ज्ञान को अलग करने के बजाय, वे एक एकीकृत LoRA-एडेप्टर और कार्यों के बीच प्रतिनिधित्व के सामंजस्य पर दांव लगाते हैं। इस विधि का नाम Align-LoRA रखा गया है।
ज्ञान के अलगाव से — उसके एकीकरण तक
विशिष्ट मल्टी-टास्क LoRA एक निर्माण खिलौने की तरह दिखता है: प्रत्येक कार्य के लिए अपने मॉड्यूल, अनुरोधों की डायनेमिक रूटिंग, और अक्सर आउटपुट पर अलग-अलग "हेड" भी। यह माना जाता है कि आर्किटेक्चरल अलगाव कार्यों को आपसी हस्तक्षेप से बचाता है और विशेषज्ञ ज्ञान को बनाए रखने में मदद करता है। लेकिन इस दृष्टिकोण की एक गंभीर कीमत है — रूटिंग वज़न को एक एकल मॉडल में विलय करने की अनुमति नहीं देती है। इस वजह से, इन्फ्रेंस एक महंगी शाखाओं वाली गणना में बदल जाती है: हर बार मार्ग निर्धारित करना और केवल कुछ घटकों को चलाना आवश्यक होता है। विलंबता बढ़ती है, और उत्पादन में उपयोग जटिल हो जाता है।
शोधपत्र के लेखकों ने इस तस्वीर में एक दिलचस्प विरोधाभास पाया। मॉडल का एक सरलीकृत संस्करण, जिसमें कई हेड हैं, लेकिन कोई रूटिंग नहीं है और क्षमताओं का कोई अनिवार्य विभाजन नहीं है, जटिल diversity-उन्मुख बेसलाइन की तुलना में बेहतर परिणाम दिखाता है। इसके अलावा, ऐसे मॉडल में हेड अत्यधिक निरर्थक होते हैं: वे आंतरिक प्रतिनिधित्व में एक-दूसरे से लगभग अलग नहीं होते हैं। इसे एक कमी के रूप में देखने के बजाय, शोधकर्ताओं ने निर्णय लिया — निरर्थकता एक संकेत हो सकती है कि कार्य जितना लगता है उससे कहीं अधिक निकटता से जुड़े हुए हैं।
मल्टी-टास्क LoRA का विरोधाभास
इससे भी अधिक उदाहरणात्मक एक अकेले LoRA-एडेप्टर के साथ किया गया प्रयोग था, जिसका रैंक केवल बढ़ा दिया गया था। ऐसा सजातीय मॉड्यूल, बिना किसी हेड और शाखाओं के, लगभग जटिल बहु-घटक प्रणालियों के स्तर तक पहुँच गया। इसका मतलब है कि जटिल संरचनाएँ गुणवत्ता में निर्णायक लाभ नहीं देती हैं — बल्कि प्रशिक्षण और तैनाती में अतिरिक्त कठिनाइयाँ पैदा करती हैं। एक एकीकृत एडेप्टर, जिसका आयाम कई अलग-अलग एडेप्टर के बराबर है, कम अच्छा नहीं, बल्कि कभी-कभी बेहतर प्रदर्शन करता है।
यह विरोधाभास न केवल विशिष्ट आर्किटेक्चर पर, बल्कि स्वयं "अलगाव" के दर्शन पर भी प्रश्नचिह्न लगाता है। शायद कार्यों को मॉडल के विभिन्न उप-स्थानों में विभाजित करने की कोशिश उन्हें एक-दूसरे को सशक्त बनाने के अवसर से वंचित कर देती है। मल्टी-टास्क लर्निंग तब एक ही कॉर्पस में छिपे समानांतर सिंगल-टास्क फाइन-ट्यूनिंग के एक सेट में बदल जाती है। साथ ही, कई शाखाओं को बनाए रखने का सारा अतिरिक्त खर्च बना रहता है।
Align-LoRA: विभाजन के बजाय सामंजस्य
शोधपत्र में प्रस्तावित समाधान सुरुचिपूर्ण दिखता है। लेखक मानक LoRA को बनाए रखते हैं: एक एडेप्टर, सामान्य आर्किटेक्चर, बिना रूटिंग के। मुख्य परिवर्तन लॉस फंक्शन में है। Align-LoRA विधि एक विशेष पद जोड़ती है — alignment loss, जो मॉडल को सभी कार्यों के लिए एक साझा छिपा हुआ स्थान बनाने के लिए प्रोत्साहित करता है। प्रतिनिधित्व को अलग-अलग कोनों में सख्ती से बाँटने के बजाय, प्रशिक्षण उनकी स्थिरता, सामान्य पैटर्न और पारस्परिक रूप से उपयोगी विशेषताओं की तलाश करता है। कार्य मापदंडों के लिए प्रतिस्पर्धा करना बंद कर देते हैं — वे विभिन्न संदर्भों में समान प्रतिनिधित्व का उपयोग करना सीखते हैं।
साथ ही, एडेप्टर स्वयं वज़न विलय की मानक प्रक्रिया के साथ पूरी तरह से संगत रहता है। प्रशिक्षण के बाद, निम्न-रैंक मैट्रिसेस को बिना किसी अतिरिक्त परत के बड़े मॉडल के मूल वज़न में जोड़ दिया जाता है। इन्फ्रेंस बिल्कुल उसी गति से किया जाता है जैसे बेस नेटवर्क में — शून्य अतिरिक्त विलंबता। यह रूटेड सिस्टम के बिल्कुल विपरीत है, जहाँ हर चरण पर अतिरिक्त गणना की आवश्यकता होती है।
लेखक इस बात पर जोर देते हैं कि निर्णायक महत्व यह नहीं है कि मॉड्यूल कैसे विभाजित हैं, बल्कि यह है कि प्रतिनिधित्व कितनी अच्छी तरह संरेखित हैं। लॉस के माध्यम से सामंजस्य किसी भी औपचारिक आर्किटेक्चरल विभाजन की तुलना में अधिक प्रभावी ढंग से काम करता है, क्योंकि यह मॉडल को पूर्व-निर्धारित पैटर्न तक सीमित नहीं करता है। साझा छिपा हुआ स्थान कार्यों के विशिष्ट सेट के तहत बनता है, उनसे अधिकतम लाभ प्राप्त करता है।
प्रयोगों ने क्या दिखाया
कार्य में किया गया सैद्धांतिक विश्लेषण बड़े पैमाने पर किए गए प्रयोगों द्वारा समर्थित है। Align-LoRA मल्टी-टास्क प्रभावी फाइन-ट्यूनिंग के मौजूदा दृष्टिकोणों से लगातार बेहतर प्रदर्शन करता है। विधि की सरलता इसे अधिक सटीक होने से नहीं रोकती है: कई कार्यों पर यह क्लासिकल मल्टी-हेड LoRA वेरिएंट और नए diversity-उन्मुख समाधानों दोनों की तुलना में परिणामों में सुधार करता है।
दिलचस्प बात यह है कि प्रभाव केवल रैंक बढ़ाने या मापदंडों की संख्या बढ़ाने तक सीमित नहीं है। नियंत्रण प्रयोग दिखाते हैं: मुख्य लाभ स्पष्ट रूप से सामंजस्य पर लॉस देने से मिलता है। बड़ा रैंक एक एकीकृत एडेप्टर को अधिक ज्ञान समेटने में मदद करता है, लेकिन यह alignment loss ही है जो ज्ञान के भंडार को एक सुसंगत मल्टी-टास्क प्रतिनिधित्व में बदल देता है।
परिणामस्वरूप, Align-LoRA एक सरल और व्यावहारिक प्रतिमान में फिट बैठता है: एक एडेप्टर, साझा छिपा हुआ स्थान, कोई रूटिंग नहीं। व्यावहारिक परिदृश्यों के लिए, इसका मतलब है कि मॉडल को इन्फ्रेंस गति का त्याग किए बिना और जटिल इंजीनियरिंग समाधानों के बिना कार्यों के एक नए सेट के लिए जल्दी से अनुकूलित किया जा सकता है।
निष्कर्ष
नया कार्य न केवल एक ठोस विधि प्रस्तावित करता है, बल्कि मल्टी-टास्क LoRA के बारे में स्थापित धारणाओं पर पुनर्विचार करने के लिए भी मजबूर करता है। परिणामों को देखते हुए, आर्किटेक्चरल अलगाव की खोज एक इंजीनियरिंग आदत थी, न कि आवश्यकता। एक एकीकृत एडेप्टर, प्रतिनिधित्व के सही सामंजस्य के साथ, कम अच्छा नहीं, बल्कि अक्सर बेहतर प्रदर्शन करता है, साथ ही वास्तविक प्रणालियों में उपयोग के लिए काफी अधिक सुविधाजनक रहता है।
शोध पहले से ही arXiv पर उपलब्ध है, लेखकों ने कोड भी प्रकाशित किया है, इसलिए परिणामों को दोहराया जा सकता है और अपने कार्यों पर परखा जा सकता है। शायद Align-LoRA ही वह सरल समाधान बन जाए जो मल्टी-टास्क प्रभावी फाइन-ट्यूनिंग को प्रयोगात्मक परिष्कार की श्रेणी से औद्योगिक अभ्यास के मानक में स्थानांतरित कर देगा।
