মাল্টিমোডাল ট্রান্সফরমারে টোকেন বিভাজন: কখন অ্যাটেনশন উপস্থাপনার অবদান ধরে রাখে

পরিমার্জন-সমমিতি: নীতিটি কী যাচাই করে

মনোযোগের ওজনের সংখ্যা টোকেনের সংখ্যার ওপর নির্ভর করে। সংকেতের উপস্থাপন বদলালে এই সংখ্যাও বদলে যায়। অর্থাৎ, ইনপুটকে ভাগ করলে মনোযোগের কার্যপ্রণালিও প্রভাবিত হয়।

«Refinement Symmetry in Multimodal Transformers» (Yuhao Du, Shunian Chen) প্রবন্ধটি ২৬ সেপ্টেম্বর ২০২৬-এ জমা দেওয়া হয়। এতে অবদানের সংরক্ষণকে শর্ত হিসেবে পরিমার্জন-সমমিতি প্রবর্তন করা হয়েছে।

উপস্থাপনকে ভাগ করলেও অবদান সংরক্ষিত থাকে, যদি চারটি বৈশিষ্ট্য বজায় থাকে:

• বিষয়বস্তু;
• অবস্থান;
• দৃশ্যমান প্রসঙ্গ;
• মোট ভর।

ব্যবহারিক মানদণ্ড: টোকেনের বিভাজন বদলানোর আগে এই চারটি বৈশিষ্ট্য যাচাই করুন। অন্তত একটি হারালেই অবদানের নিশ্চয়তা থাকে না।

ভরের স্থানীয় গুণকের রৈখিকতা

লেখকেরা আনুপাতিক মনোযোগ ও কোয়াড্রেচার মনোযোগের ওপর ভিত্তি করে কাজ করেছেন। তাঁদের সিদ্ধান্ত: বিভাজনের প্রতি অপরিবর্তনীয়তা বজায় রাখতে ভরের স্থানীয় গুণক রৈখিক হওয়া প্রয়োজন। শর্তটি যেকোনো নির্দিষ্ট ধনাত্মক মনোযোগ-কার্নেলের ক্ষেত্রে প্রযোজ্য। গুণকটি একই সঙ্গে অ-হ্রাসমান।

এই শর্ত থেকে তিনটি যাচাইয়ের বিষয় আসে:

• অরৈখিক গুণক ভাগ করার সময় অবদান বদলে দেয়;
• রৈখিকতা অবদান সংরক্ষণ করে;
• অ-হ্রাসমানতা গ্রহণযোগ্য পদ্ধতির পরিসর সীমিত করে।

ব্যবহারিক মানদণ্ড: ভাগ করার আগে ওজনদানের পদ্ধতিটি রৈখিক কি না যাচাই করুন। অরৈখিকতা ফল বদলে যাওয়ার পূর্বাভাস দেয়।

ভৌত সংযোজন এবং মনোযোগের ত্রুটির সীমা

পরিবর্তিত উপস্থাপনার ক্ষেত্রে ভৌত সংযোজন প্রযোজ্য। এটি মনোযোগের ত্রুটিকে সীমাবদ্ধ করে। এই সীমা দুটি উৎসকে আলাদা করে:

• বৈশিষ্ট্যের পরিবর্তন;
• ওজনের পুনর্বণ্টন।

ব্যবহারিক মানদণ্ড: দুটি উৎস আলাদাভাবে বিশ্লেষণ করুন। এতে বোঝা যায়, বৈশিষ্ট্য নাকি ওজন—কোনটি সংশোধন করতে হবে।

Qwen2.5-Omni-7B-তে পরীক্ষা: MVBench-এর উত্তর

Qwen2.5-Omni-7B-তে দৃশ্যমান টোকেনের অর্ধেককে তিন গুণ করলে MVBench-এ 3 586টি উত্তরের মধ্যে 255টি বদলে যায়। এটি সাধারণ মনোযোগের ফল। পরিমাপ অনুযায়ী ওজনদানে প্রতিটি উত্তর অপরিবর্তিত থাকে। দৃশ্যমানতা তুলনীয় থাকে।

সিদ্ধান্ত: শুধু বিভাজন নয়, ভরের হিসাব রাখার পদ্ধতিই অমিল তৈরি করে।

ব্যবহারিক মানদণ্ড: দৃশ্যমান টোকেন ভাগ করার সময় পরিমাপ অনুযায়ী ওজনদান ব্যবহার করুন। একই দৃশ্যমান প্রসঙ্গ বজায় রেখেও এটি উত্তরগুলো অপরিবর্তিত রাখে।

ফ্রেমের পুনর্নমুনায়ন ও বণ্টনের বিচ্যুতি

স্বাভাবিকভাবে ফ্রেমের পুনর্নমুনায়ন করলে পরিমাপ অনুযায়ী ওজনদান বণ্টনের বিচ্যুতি কমায়। এই প্রভাব শুধু আলাদা আলাদা উত্তর সংরক্ষণের চেয়েও বিস্তৃত।

ব্যবহারিক মানদণ্ড: ফ্রেমের হার বদলানোর সময় শুধু নির্ভুলতা নয়, বণ্টনের বিচ্যুতিও পর্যবেক্ষণ করুন। পরিমাপ অনুযায়ী ওজনদান এই বিচ্যুতি কমায়।

ভিডিও সংকোচন: পরিমাপ করা উন্নতি

স্থির ভিডিও-এনকোডিংকে দ্বিগুণ একীভূত করে মূল্যায়ন করা হয়েছিল। পাঁচটি এলোমেলো প্রারম্ভিক মান ব্যবহার করা হয়েছিল। সব বিভাজনেই নির্ভুলতার উন্নতি ইতিবাচক ছিল।

টোকেন সংখ্যার ভিত্তিতে বৈশ্বিক ওজনদানের তুলনায় WorldSense-এও সুবিধা দেখা যায়। এটি সংকোচন বাজেটের ওপর নির্ভর করে।

ব্যবহারিক মানদণ্ড: ভিডিও বেশি সংকুচিত করলে বাজেটের সঙ্গে মিলিয়ে দেখুন। পরিমাপ অনুযায়ী ওজনদানের সুবিধা সব সময় এক থাকে না।

উপস্থাপনার নীতি কী দেয়

লেখকেরা ফলটিকে বিভাজনের প্রতি স্থিতিস্থাপকতা বাড়ানোর পরিমাপযোগ্য উন্নতিসহ একটি উপস্থাপনা-নীতি হিসেবে তুলে ধরেছেন। এটি বিচ্ছিন্ন কিছু সংশোধনের বিষয় নয়, বরং ভাগ করার ক্ষেত্রে অনুসরণীয় একটি নিয়ম।

ব্যবহারিক মানদণ্ড: প্রথমে উপস্থাপনা ও তার ভর স্থির করুন, তারপর ওজন সামঞ্জস্য করুন। এতে ভাগ করার কারণে উত্তর আর বদলায় না।