تجزئة الرموز في المحوّلات متعددة الوسائط: متى يحافظ الانتباه على مساهمة التمثيل
تبحث الدراسة الشروط التي لا يؤدي فيها تقسيم التمثيل المدخل إلى عدد أكبر من العناصر إلى تغيير إسهامه، مع الحفاظ على المحتوى والموضع والسياق المرئي والكتلة الإجمالية. وبالنسبة إلى نوى الانتباه الموجبة ذات معامل كتلة محلي غير متناقص، لا تتحقق الثباتية إلا عندما يكون هذا المعامل خطيًا؛ وعلى Qwen2.5-Omni-7B ومعايير الفيديو، يقلل الترجيح بالكتلة الانحراف ويحسن الدقة عند الضغط.
تناظر التحسين: ما الذي يتحقق منه المبدأ
يعتمد عدد أوزان الانتباه على عدد الرموز. ويؤدي تغيير تمثيل الإشارة إلى تغيير هذا العدد. وهذا يعني أن تقسيم المدخلات يؤثر في آلية الانتباه.
قُدّمت ورقة «Refinement Symmetry in Multimodal Transformers» (Yuhao Du, Shunian Chen) في 26 سبتمبر 2026. وهي تطرح تناظر التحسين بوصفه شرطًا للحفاظ على المساهمة.
يحافظ تقسيم التمثيل على المساهمة إذا حُفظت أربع خصائص:
- المحتوى؛
- الموضع؛
- السياق المرئي؛
- الكتلة الإجمالية.
المعيار العملي: قبل تغيير تقسيم الرموز، تحقق من هذه الخصائص الأربع. ففقدان أيٍّ منها يُسقط ضمان الحفاظ على المساهمة.
خطية العامل المحلي للكتلة
يستند المؤلفون إلى الانتباه التناسبي والانتباه بالتكامل العددي. وخلاصتهم أن ثبات المساهمة عند التقسيم يتطلب عاملًا محليًا خطيًا للكتلة. وينطبق هذا الشرط على أي نواة انتباه موجبة وثابتة. كما أن العامل لا يتناقص.
وينتج عن هذا الشرط ثلاثة اختبارات:
- يغيّر العامل غير الخطي المساهمة عند التقسيم؛
- تحافظ الخطية على المساهمة؛
- يضيّق عدم التناقص نطاق المخططات المقبولة.
المعيار العملي: تحقّق من خطية مخطط الترجيح قبل التقسيم. فاللاخطية تنبئ بتغيّر النتيجة.
الاقتران الفيزيائي وحدود خطأ الانتباه
ينطبق الاقتران الفيزيائي على التمثيلات المعدّلة. وهو يحدّ من خطأ الانتباه، ويفصل الحد بين مصدرين:
- تغيّر السمات؛
- إعادة توزيع الأوزان.
المعيار العملي: حلّل المصدرين كلًّا على حدة. وهكذا يتضح ما الذي ينبغي إصلاحه: السمات أم الأوزان.
الاختبار على Qwen2.5-Omni-7B: إجابات MVBench
في Qwen2.5-Omni-7B، يؤدي تضعيف عدد نصف الرموز المرئية إلى تغيير 255 إجابة من أصل 3 586 على MVBench. وهذه نتيجة الانتباه القياسي. أما الترجيح بحسب المقدار فيحافظ على كل إجابة. وتظل الرؤية قابلة للمقارنة.
| المخطط | الإجابات المتغيرة | الرؤية |
|---|---|---|
| الانتباه القياسي | 255 من أصل 3 586 | — |
| الترجيح بحسب المقدار | لا شيء | قابلة للمقارنة |
الخلاصة: ليس التقسيم بحد ذاته هو ما يسبب الاختلاف، بل طريقة احتساب الكتلة.
المعيار العملي: عند تقسيم الرموز المرئية، انتقل إلى الترجيح بحسب المقدار. فهو يحافظ على الإجابات مع الإبقاء على السياق المرئي نفسه.
إعادة أخذ عينات الإطارات وانحراف التوزيع
عند إعادة أخذ عينات الإطارات بطريقة طبيعية، يقلل الترجيح بحسب المقدار من انحراف التوزيع. ويتجاوز أثره الحفاظ على إجابات منفردة.
المعيار العملي: عند تغيير معدل الإطارات، راقب انحراف التوزيع، لا الدقة وحدها. فالترجيح بحسب المقدار يقلل هذا الانحراف.
ضغط الفيديو: مكسب مقاس
أُجري التقييم باستخدام دمج ثنائي لمخرجات ترميز فيديو مجمّد. واستُخدمت خمس قيم ابتدائية عشوائية. وكان تحسن الدقة إيجابيًا في جميع التقسيمات.
| المخطط الأساسي | تحسن الدقة |
|---|---|
| الترجيح العام بحسب عدد الرموز (متوسط كتلة المجموعة) | 1,04 نقطة مئوية |
| الانتباه القياسي | 0,93 نقطة مئوية |
يظهر التفوق على الترجيح العام بحسب عدد الرموز أيضًا على WorldSense. ويعتمد هذا التفوق على ميزانية الضغط.
المعيار العملي: عند ضغط الفيديو بشدة، راجع الميزانية. فمكسب الترجيح بحسب المقدار ليس ثابتًا.
ما الذي يقدمه مبدأ التمثيل
يطرح المؤلفون النتيجة بوصفها مبدأً للتمثيل يحقق مكسبًا مقاسًا في مقاومة تغييرات التقسيم. فالأمر لا يتعلق بتعديلات عابرة، بل بقاعدة للتعامل مع التقسيم.
المعيار العملي: ثبّت التمثيل وكتلته أولًا، ثم اضبط الأوزان. عندئذٍ لن يؤدي التقسيم إلى تغيير الإجابات.
الأسئلة المتكررة
المواد ذات الصلة
جميع المواد
تتعرّف النماذج اللغوية الكبيرة الطبية على تحديثات التوصيات، لكنها غالبًا ما تجيب وفقًا للإرشادات القديمة
أظهرت دراسة ChronoEvo التي شملت 1709 تغييرات في التوصيات السريرية أن النموذج الأساسي رصد التحديث في 90,8% من الإجابات، لكنه طبّقه بالكامل في 58,5% فقط، وظلت فجوة قدرها 32,3 نقطة مئوية قائمة لدى 14 نموذجًا. وحتى تعزيز بروز التحديثات لم يحقق زيادة ملحوظة في التطبيق الكامل للقواعد الجديدة ضمن التوصيات السريرية.
4 نوفمبر 2026
نموذج العالم للوكلاء الذين يستخدمون نماذج لغوية كبيرة مغلقة: التصحيح عند نقاط الخطر
اقتُرحت PAWM بوصفها أداة تنبؤ خارجية لا تكرر المراقبة خطوة بخطوة، بل تتدخل عند احتمال حدوث إخفاق وتُبعد الوكيل عن الإجراء الخاطئ. بعد الضبط الدقيق المُشرف (SFT) على سيناريوهات اصطناعية والتدريب المشترك باستخدام GRPO، حققت الطريقة تحسنًا بنسبة 24.3% في ScienceWorld و7.7% في WebArena-Lite مع Claude Sonnet 4.5.
4 نوفمبر 2026
طبقة تصنيفية فوق SpeechLLM: أين تتفوق على توليد التسميات في التعرّف على المشاعر
باستخدام مجموعتي IEMOCAP وMELD، جرت مقارنة التنبؤ التوليدي بالوسم العاطفي بالمُصنِّف الخطي الذي يعمل على التمثيلات الكامنة لنموذج SpeechLLM صغير. ولا يكون التحسن في الأداء الناتج عن المُصنِّف عامًا؛ إذ يعتمد على مجموعة البيانات وعلى استخدام النصوص المرجعية أو مخرجات التعرّف الآلي على الكلام (ASR).
4 نوفمبر 2026