मल्टीमोडल ट्रांसफ़ॉर्मर्स में टोकनों का विभाजन: जब अटेंशन प्रतिनिधित्व के योगदान को बनाए रखता है

परिशोधन सममिति: यह सिद्धांत क्या जाँचता है

ध्यान भारों की संख्या टोकनों की संख्या पर निर्भर करती है। सिग्नल के निरूपण में बदलाव से यह संख्या बदल जाती है। इसलिए इनपुट को विभाजित करने से ध्यान की कार्यप्रणाली प्रभावित होती है।

लेख «Refinement Symmetry in Multimodal Transformers» (Yuhao Du, Shunian Chen) 26 सितंबर 2026 को प्रस्तुत किया गया। इसमें योगदान के संरक्षण की शर्त के रूप में परिशोधन सममिति प्रस्तुत की गई है।

निरूपण का विभाजन योगदान को तभी सुरक्षित रखता है, जब ये चार गुण सुरक्षित रहें:

• विषय-वस्तु;
• स्थिति;
• दृश्य संदर्भ;
• कुल द्रव्यमान।

व्यावहारिक कसौटी: टोकनों को नए सिरे से विभाजित करने से पहले इन चार गुणों की जाँच करें। इनमें से किसी एक के भी खोने पर योगदान की गारंटी नहीं रहती।

स्थानीय द्रव्यमान गुणक की रैखिकता

लेखक आनुपातिक ध्यान और क्वाड्रेचर ध्यान पर आधारित हैं। उनका निष्कर्ष है: विभाजन के प्रति अपरिवर्तनीयता के लिए स्थानीय द्रव्यमान गुणक का रैखिक होना आवश्यक है। यह शर्त किसी भी नियत धनात्मक ध्यान कर्नेल के लिए लागू होती है। इस दौरान गुणक घटता नहीं है।

इस आवश्यकता से तीन जाँचें निकलती हैं:

• गैर-रैखिक गुणक विभाजन के समय योगदान बदल देता है;
• रैखिकता योगदान को सुरक्षित रखती है;
• गैर-घटने की शर्त स्वीकार्य योजनाओं का दायरा सीमित करती है।

व्यावहारिक कसौटी: विभाजन से पहले भारांकन योजना की रैखिकता जाँचें। गैर-रैखिकता से परिणाम बदलने का संकेत मिलता है।

भौतिक युग्मन और ध्यान की त्रुटि-सीमाएँ

बदले हुए निरूपणों के लिए भौतिक युग्मन काम करता है। यह ध्यान की त्रुटि को सीमित करता है। इस सीमा में दो स्रोत अलग-अलग होते हैं:

• विशेषताओं में बदलाव;
• भारों का पुनर्वितरण।

व्यावहारिक कसौटी: दोनों स्रोतों का अलग-अलग विश्लेषण करें। इससे पता चलता है कि किसे ठीक करना है—विशेषताओं को या भारों को।

Qwen2.5-Omni-7B पर जाँच: MVBench के उत्तर

Qwen2.5-Omni-7B में, दृश्य टोकनों के आधे हिस्से को तीन गुना करने पर MVBench के 3 586 में से 255 उत्तर बदल जाते हैं। यह मानक ध्यान का परिणाम है। माप-आधारित भारांकन हर उत्तर को सुरक्षित रखता है। दृश्यता तुलनीय बनी रहती है।

निष्कर्ष: अंतर केवल विभाजन से नहीं, बल्कि द्रव्यमान का हिसाब रखने के तरीके से पैदा होता है।

व्यावहारिक कसौटी: दृश्य टोकनों को विभाजित करते समय माप-आधारित भारांकन अपनाएँ। यह उसी दृश्य संदर्भ में उत्तरों को स्थिर रखता है।

फ़्रेमों का पुनः नमूनाकरण और वितरण में विचलन

फ़्रेमों के स्वाभाविक पुनः नमूनाकरण के दौरान माप-आधारित भारांकन वितरण में विचलन को कम करता है। इसका प्रभाव अलग-अलग उत्तरों को सुरक्षित रखने से भी व्यापक है।

व्यावहारिक कसौटी: फ़्रेम दर बदलते समय केवल सटीकता ही नहीं, वितरण में विचलन पर भी नज़र रखें। माप-आधारित भारांकन इसे कम करता है।

वीडियो संपीड़न: मापा गया लाभ

मूल्यांकन स्थिर वीडियो एन्कोडिंग को दो गुना मिलाकर किया गया। पाँच यादृच्छिक शुरुआती मानों का उपयोग किया गया। सटीकता में बढ़ोतरी सभी विभाजनों के लिए सही रही।

टोकनों की संख्या के आधार पर वैश्विक भारांकन की तुलना में लाभ WorldSense पर भी देखा जाता है। यह संपीड़न बजट पर निर्भर करता है।

व्यावहारिक कसौटी: वीडियो को अधिक संपीड़ित करते समय बजट को ध्यान में रखें। माप-आधारित भारांकन से मिलने वाला लाभ स्थिर नहीं होता।

निरूपण का सिद्धांत क्या देता है

लेखक इस परिणाम को विभाजनों के प्रति स्थिरता में मापे गए लाभ वाले निरूपण-सिद्धांत के रूप में प्रस्तुत करते हैं। यह कभी-कभार किए जाने वाले सुधारों की बात नहीं, बल्कि विभाजन के साथ काम करने के नियम की बात है।

व्यावहारिक कसौटी: पहले निरूपण और उसके द्रव्यमान को तय करें, फिर भारों को समायोजित करें। इससे विभाजन के कारण उत्तर बदलने बंद हो जाते हैं।