دمج النماذج ضمن مجموعات متوافقة: يقلّل GRAM التداخل بين الفضاءات الجزئية
تُحدّد طريقة GRAM النماذج المُحسّنة التي يجدر دمجها استنادًا إلى هندسة الزوايا الرئيسية بين فضاءاتها الجزئية، ثم تُجري دمجًا منخفض الرتبة داخل المجموعات. لا يتطلب هذا النهج سوى الأوزان، ويقلّل خسائر الإسقاط، ويُظهر تفوقًا في التجارب اللغوية والبصرية والطبية.
مشكلة تداخل الفضاءات الجزئية
يُعد دمج نماذج مختلفة في نموذج واحد ضروريًا للنشر متعدد المهام. وفي المجالات الخاضعة للتنظيم، مثل الرعاية الصحية، غالبًا ما تبقى البيانات محلية. لذلك، لا يعمل الدمج إلا باستخدام الأوزان المُحسَّنة ضبطًا.
تستخدم الأساليب السابقة الدمج نفسه لجميع المهام. وهي لا تأخذ العلاقات الهندسية بين الفضاءات الجزئية المتعلَّمة في الحسبان. فإذا شغلت تحديثات المهام فضاءات جزئية غير متراصفة، فإن الإسقاط على أساس مشترك منخفض الرتبة يستبعد اتجاهات مهمة. ويطلق المؤلفون على هذه الظاهرة اسم تداخل الفضاءات الجزئية.
يحدد اصطفاف الزوايا الرئيسية خطأ الإسقاط لكل مهمة. ويبيّن اصطفاف الزوايا الرئيسية مدى تطابق الفضاء الجزئي للمهمة مع الفضاء الجزئي المشترك. والخلاصة: ينطوي الدمج نفسه على خطر فقدان اتجاهات مهمة لمهام بعينها.
آلية GRAM: التجميع حسب الزوايا الرئيسية
يستخدم GRAM (Group-wise Rank-Aware Model Merging) هندسة الزوايا الرئيسية لمتجهات المهام. وتعمل الطريقة على ثلاث مراحل:
- حساب الزوايا الرئيسية بين متجهات المهام.
- تحديد المهام التي ينبغي دمجها معًا استنادًا إلى هذه الزوايا.
- إجراء دمج قياسي قائم على SVD داخل كل مجموعة.
في مرحلة الدمج، لا تستخدم الطريقة سوى الأوزان المُحسَّنة ضبطًا. ولا تتطلب الطريقة الوصول إلى البيانات الأصلية. ووفقًا للمؤلفين، فإن تجميع المهام المتوافقة هندسيًا يقلل خطأ الإسقاط داخل كل مجموعة على نحو يمكن إثباته.
المعيار العملي: يناسب GRAM الحالات التي يتعذر فيها نقل البيانات، وقد تشغل فيها المهام فضاءات جزئية غير متراصفة. وتتيح الطريقة تقسيم المهام إلى مجموعات متوافقة قبل الدمج.
ما الذي يتغير عند K=2
يوضح سيناريو إضافة نموذج واحد فقط (K=2) أثر GRAM. ففي هذه الحالة، تقلل الطريقة تداخل الفضاءات الجزئية بدرجة كبيرة. كما تتفوق باستمرار على أساليب الدمج السابقة في الاختبارات.
تشمل الاختبارات ثلاثة مجالات:
- فهم اللغة — GLUE with Flan-T5؛
- الرؤية الحاسوبية — 8-task CLIP؛
- الضبط التعليمي الطبي — Qwen2-7B-Instruct with four English/Chinese medical LoRAs.
الخلاصة: تظهر الميزة بالفعل عند دمج نموذجين. وفي الحد الأدنى من سيناريو إضافة نموذج واحد مُحسَّن الضبط، يقدم GRAM خيارًا مُتحقَّقًا منه للحد من التداخل.
معايير الاختيار
يعتمد الاختيار بين الدمج نفسه لجميع المهام والنهج التجميعي على ظروف المهمة. فيما يلي المعايير المستخلصة من وصف GRAM.
| المعيار | ما ينبغي أخذه في الحسبان |
|---|---|
| الوصول إلى البيانات | لا تتوفر عند الدمج سوى الأوزان المُحسَّنة ضبطًا. |
| هندسة المهام | قد تشغل المهام فضاءات جزئية غير متراصفة. |
| خطر التداخل | قد يستبعد الإسقاط على أساس مشترك اتجاهات مهمة. |
| طريقة الدمج | يقلل تجميع المهام المتوافقة خطأ الإسقاط داخل المجموعة. |
| السيناريو المُتحقَّق منه | K=2: إضافة نموذج واحد إلى نموذج موجود. |
الخلاصة العملية: إذا بقيت البيانات محلية وكانت المهام متباينة من حيث هندسة الفضاءات الجزئية، فإن الدمج التجميعي يقلل خطر فقدان الاتجاهات. أما استخدام الدمج نفسه لجميع المهام فلا يأخذ هذا الخطر في الحسبان.
الأسئلة المتكررة
المواد ذات الصلة
جميع المواد
اختبار وكلاء البرمجة في تطوير XR التفاعلي: نتائج GenXR-Bench
نُشرت GenXR-Bench، وهي مجموعة تضم 112 مهمة من إعداد خبراء لتقييم وكلاء البرمجة تقييمًا شاملًا في تطوير XR التفاعلي، بدءًا من تحسين الوظائف وإصلاح العيوب وصولًا إلى إنشاء التطبيقات والتحقق من سلوكها على أجهزة استهلاكية. حقق أفضل أداء بين النماذج العشرة التي خضعت للاختبار 50.9% Pass@1؛ وشملت الإخفاقات المتكررة التعامل مع الأحداث غير المتزامنة للمستشعرات، وربط الكائنات بالفضاء الواقعي، وفهم التفاعل في السياق المادي.
5 نوفمبر 2026
من المكافأة القياسية إلى جبهة باريتو: توليف RTL باستخدام النماذج اللغوية الكبيرة والتعلّم المعزّز متعدد المعايير
اقتُرحت طريقة لتدريب نموذج لغوي على توليد مجموعة من مرشّحات RTL بدلًا من مخطط واحد، مع مفاضلات مختلفة بين المساحة وزمن التأخير واستهلاك الطاقة؛ وتُبنى المكافأة على مساهمة كل خيار في حجم فرط جبهة باريتو. على RTLLM v2، ارتفع حجم فرط باريتو النسبي بمقدار 13.3 نقطة مئوية مقارنةً بالإصدار الأساسي من دون تحسين PPA، وبمقدار 14.4 نقطة مئوية مقارنةً بالتدريب بالتعلّم المعزّز ذي الهدف الواحد.
5 نوفمبر 2026
تتعرّف النماذج اللغوية الكبيرة الطبية على تحديثات التوصيات، لكنها غالبًا ما تجيب وفقًا للإرشادات القديمة
أظهرت دراسة ChronoEvo التي شملت 1709 تغييرات في التوصيات السريرية أن النموذج الأساسي رصد التحديث في 90,8% من الإجابات، لكنه طبّقه بالكامل في 58,5% فقط، وظلت فجوة قدرها 32,3 نقطة مئوية قائمة لدى 14 نموذجًا. وحتى تعزيز بروز التحديثات لم يحقق زيادة ملحوظة في التطبيق الكامل للقواعد الجديدة ضمن التوصيات السريرية.
4 نوفمبر 2026