عندما يتعين على نموذج لغوي كبير حل عدة مهام، فإن إعادة تدريبه لكل مهمة على حدة تكون مكلفة. لذلك يتم اللجوء إلى الضبط الفعّال (PEFT)، ومعياره الذهبي هو أسلوب LoRA. لكن LoRA التقليدي مصمم في المقام الأول لمهمة واحدة. عند محاولة توسيعه ليشمل سيناريوهات متعددة المهام، يضيف الباحثون عادةً محولات ورؤوسًا منفصلة إلى البنية، ولكي لا تتعارض مع بعضها البعض، يضيفون موجّهًا يوزع الاستعلامات. يبدو هذا الحل منطقيًا، ومع ذلك، كما تظهر دراسة حديثة بعنوان «From Isolation to Alignment: Unified LoRA for Efficient Multi-Task Learning» (arXiv:2508.05078)، قد يكون غير ضروري.
مؤلفو الدراسة — Jinda Liu وYi Chang وYuan Wu — اقترحوا إعادة التفكير في النهج نفسه. فبدلاً من عزل معرفة كل مهمة، يراهنون على محول LoRA موحّد ومواءمة التمثيلات بين المهام. أُطلق على الطريقة اسم Align-LoRA.
من عزل المعرفة إلى توحيدها
يبدو LoRA متعدد المهام النموذجي مثل مجموعة بناء: وحدات خاصة بكل مهمة، وتوجيه ديناميكي للاستعلامات، وغالبًا أيضًا «رؤوس» منفصلة عند المخرجات. يُفترض أن العزل المعماري يحمي المهام من التداخل المتبادل ويساعد في الحفاظ على المعرفة المتخصصة. لكن لهذا النهج ثمنًا باهظًا — فالتوجيه لا يسمح بدمج الأوزان في نموذج واحد. ونتيجة لذلك، يتحول الاستدلال إلى حساب متفرع مكلف: يجب تحديد المسار في كل مرة وتشغيل مكونات معينة فقط. يزداد زمن الاستجابة، ويصبح التشغيل في الإنتاج أكثر تعقيدًا.
اكتشف مؤلفو الدراسة تناقضًا مثيرًا للاهتمام في هذه الصورة. نسخة مبسطة من النموذج، حيث توجد عدة رؤوس ولكن لا يوجد توجيه ولا فصل قسري للاختصاصات، تُظهر نتائج أعلى من خطوط الأساس المعقدة القائمة على التنوع. علاوة على ذلك، تتمتع الرؤوس في مثل هذا النموذج بدرجة عالية من التكرار: فهي لا تختلف تقريبًا عن بعضها البعض في تمثيلاتها الداخلية. بدلاً من اعتبار هذا عيبًا، قرر الباحثون أن التكرار قد يكون مؤشرًا على أن المهام مترابطة أكثر مما يبدو.
مفارقة LoRA متعدد المهام
كانت التجربة الأكثر دلالة هي استخدام محول LoRA واحد فقط، مع زيادة رتبته ببساطة. هذه الوحدة المتجانسة، دون أي رؤوس أو تفرعات، كادت تصل إلى مستوى الأنظمة متعددة المكونات المعقدة. هذا يعني أن البنى المعقدة لا تمنح ميزة حاسمة في الجودة — بل تخلق صعوبات إضافية في التدريب والنشر. المحول الموحد بنفس الأبعاد التي تمتلكها عدة محولات منفصلة، يعمل بشكل لا يقل جودة، وأحيانًا أفضل.
تضع هذه المفارقة موضع التساؤل ليس فقط البنى المحددة، بل فلسفة «العزل» نفسها. ربما يحرم محاولة توزيع المهام على فضاءات فرعية مختلفة من النموذج إمكانية تعزيز بعضها البعض. عندها يتحول تعدد المهام إلى مجموعة من عمليات الضبط أحادية المهمة المتوازية، المخفية في هيكل واحد. مع بقاء جميع التكاليف الإضافية للحفاظ على عدة فروع.
Align-LoRA: المواءمة بدلاً من الفصل
المخرج المقترح في الدراسة يبدو أنيقًا. يحافظ المؤلفون على LoRA القياسي: محول واحد، بنية عادية، دون توجيه. التغيير الرئيسي يكمن في دالة الخسارة. يضيف أسلوب Align-LoRA حدًا خاصًا — خسارة المواءمة (alignment loss)، التي تدفع النموذج إلى تشكيل فضاء كامن مشترك لجميع المهام. بدلاً من توجيه التمثيلات بقوة إلى زوايا مختلفة، يبحث التدريب عن اتساقها، وأنماطها المشتركة، وميزاتها المفيدة المتبادلة. تتوقف المهام عن التنافس على المعاملات — بل تتعلم استخدام التمثيلات نفسها في سياقات مختلفة.
في الوقت نفسه، يظل المحول نفسه متوافقًا تمامًا مع إجراء دمج الأوزان القياسي. بعد التدريب، تُضاف المصفوفات منخفضة الرتبة إلى أوزان النموذج الكبير الأصلية دون أي طبقات إضافية. يتم الاستدلال بنفس سرعة الشبكة الأساسية تمامًا — بدون أي زمن استجابة إضافي. وهذا يتناقض بشكل حاد مع الأنظمة الموجَّهة، التي تتطلب حسابات إضافية في كل خطوة.
يؤكد المؤلفون أن الأهم ليس كيفية تقسيم الوحدات، بل مدى جودة مواءمة التمثيلات. المواءمة عبر الخسارة تعمل بكفاءة أكبر من أي فصل معماري رسمي، لأنها لا تقيّد النموذج بأنماط محددة مسبقًا. يتشكل الفضاء الكامن المشترك وفقًا لمجموعة المهام المحددة، مستخرجًا أقصى فائدة منها.
ماذا أظهرت التجارب
التحليل النظري المقدم في الدراسة مدعوم بتجارب واسعة النطاق. يتفوق Align-LoRA باستمرار على الأساليب الحالية للضبط الفعّال متعدد المهام. بساطة الطريقة لا تمنعه من أن يكون أكثر دقة: في عدد من المهام، يحسّن النتائج مقارنةً بكل من متغيرات LoRA متعددة الرؤوس التقليدية والحلول الأحدث القائمة على التنوع.
من المثير للاهتمام أن التأثير لا يقتصر على زيادة الرتبة أو عدد المعاملات. تُظهر التجارب الضابطة أن خسارة المواءمة الصريحة هي التي تعطي الزيادة الرئيسية. الرتبة الكبيرة تساعد المحول الموحد على استيعاب المزيد من المعرفة، لكن خسارة المواءمة هي التي تحول مستودع المعرفة إلى تمثيل متعدد المهام متماسك.
ونتيجة لذلك، يندرج Align-LoRA في نموذج بسيط وعملي: محول واحد، فضاء كامن مشترك، دون أي توجيه. بالنسبة للسيناريوهات التطبيقية، هذا يعني أنه يمكن تكييف النموذج بسرعة مع مجموعة جديدة من المهام، دون التضحية بسرعة الاستدلال ودون حلول هندسية معقدة.
الاستنتاجات
الدراسة الجديدة لا تقدم طريقة محددة فحسب، بل تجبرنا أيضًا على إعادة النظر في المفاهيم الراسخة حول LoRA متعدد المهام. بناءً على النتائج، يبدو أن السعي وراء العزل المعماري كان عادة هندسية أكثر منه ضرورة. المحول الموحد، مع المواءمة الصحيحة للتمثيلات، يعمل بشكل لا يقل جودة، وغالبًا أفضل، مع بقائه أكثر ملاءمة للاستخدام في الأنظمة الحقيقية بشكل ملحوظ.
الدراسة متاحة بالفعل على arXiv، وقد نشر المؤلفون أيضًا الكود، لذا يمكن إعادة إنتاج النتائج وتجربتها على مهامكم الخاصة. ربما يكون Align-LoRA هو الحل البسيط الذي سينقل الضبط الفعّال متعدد المهام من فئة التجارب البحثية إلى معيار الممارسة الصناعية.
