মডেল যেগুলো একই সাথে ছবি এবং টেক্সট নিয়ে কাজ করে, সেগুলো চিত্তাকর্ষকভাবে ভালো পারফর্ম করতে শিখেছে: তারা বস্তু চিনতে পারে, ছবি নিয়ে প্রশ্নের উত্তর দিতে পারে এবং নতুন কাজে জ্ঞান স্থানান্তর করতে পারে। তবে এই সাফল্যের আড়ালে প্রায়ই একটি অস্পষ্ট দুর্বলতা লুকিয়ে থাকে: মডেলটি বস্তুর প্রকৃত বৈশিষ্ট্য মনে রাখে না, বরং সাথে থাকা বিবরণগুলো মনে রাখে, যেগুলো 'লেবেল' হিসেবে কাজ করে। প্রতিকূল প্রম্পট টিউনিং — মডেলগুলোকে আরও স্থিতিশীল করার একটি উপায়, কিন্তু এরও একটি ফাঁদ আছে। চলুন দেখি কেন মডেলটি ভুল জিনিস শেখে, এবং কীভাবে একটি নতুন পদ্ধতি উপকারী এবং প্রতারণামূলক বৈশিষ্ট্যগুলো আলাদা করার প্রস্তাব দেয়।
কেন মডেলটি ভুল জিনিস শেখে
যখন একটি ভিজ্যুয়াল-ল্যাঙ্গুয়েজ মডেলকে শব্দ বা প্রতিকূল উদাহরণসহ ডেটাতে ফাইন-টিউন করা হয়, তখন মনে হওয়া স্বাভাবিক যে স্থিতিস্থাপকতা সমানভাবে বাড়বে। বাস্তবে উল্টোটা ঘটে: ইতিমধ্যে দেখা ক্লাসে মডেলটি চমৎকার ফলাফল দেখায়, কিন্তু নতুন, অদেখা ক্লাসে প্রতিকূল আক্রমণ দেখা দিলে গুণমান দ্রুত হ্রাস পায়। এই ঘটনাটিকে স্থিতিস্থাপক সাধারণীকরণের অতিরিক্ত ফিটিং বলা হয়।
কারণ হলো, মডেলটি ছদ্ম-স্থিতিস্থাপক বৈশিষ্ট্যগুলোর উপর নির্ভর করতে শুরু করে — এলোমেলো প্যাটার্নের সেট যা আক্রমণের সময় টিকে থাকে কিন্তু বস্তুর সারমর্ম প্রতিফলিত করে না। উদাহরণস্বরূপ, মডেলটি পটভূমির টেক্সচার, বৈশিষ্ট্যপূর্ণ ছায়া বা নির্দিষ্ট শব্দ মনে রাখতে পারে যা প্রশিক্ষণের উদাহরণে ছিল। এই ধরনের বৈশিষ্ট্যগুলো প্রতিকূল ব্যাঘাতের পরীক্ষায় উত্তীর্ণ হয়, কিন্তু নতুন ডেটাতে কাজ করে না। মডেলটি বিষয়বস্তুর উপর নয়, বরং শর্টকাট-ইঙ্গিতের উপর অতিরিক্ত ফিটিং করে — এবং প্রশিক্ষণ যত দীর্ঘ হয়, অদেখা ক্লাসে অবনতি তত শক্তিশালী হয়।
কীভাবে বৈশিষ্ট্যগুলো আলাদা করা যায়: ADAPT-এর ধারণা
প্রস্তাবের লেখকরা একটি অস্বাভাবিক দর্শন থেকে শুরু করেন: মডেলকে শুধু প্রয়োজনীয় বৈশিষ্ট্য শেখানোর পরিবর্তে, কী শেখা উচিত নয় সেটাও স্পষ্টভাবে শেখানো দরকার। এভাবেই ADAPT (Adversarial Disentangled Prompt Tuning) পদ্ধতির উদ্ভব।
মূল ধারণা হলো একই সাথে দুই ধরনের প্রম্পট ব্যবহার করা:
- টার্গেট প্রম্পট — মডেলটি যেন স্থিতিশীল, সাধারণীকরণযোগ্য বৈশিষ্ট্য আলাদা করে তা নিশ্চিত করার জন্য দায়ী।
- ডিকয় প্রম্পট — অতিরিক্ত প্রম্পটের একটি বিশেষ পুল যা ইচ্ছাকৃতভাবে ছদ্ম-স্থিতিস্থাপক প্যাটার্নগুলো 'নিজের উপর নেয়'।
প্রশিক্ষণের সময় ডিকয় প্রম্পটগুলো একে অপরের সাথে প্রতিযোগিতা করে: প্রতিটি নির্দিষ্ট ধরনের এলোমেলো লেবেল захватить করার চেষ্টা করে। আর টার্গেট প্রম্পটকে এমবেডিং স্পেসে ডিকয়গুলোর সাথে অর্থোগোনাল হতে বাধ্য করা হয়। এভাবে স্থিতিশীল বৈশিষ্ট্যগুলো প্রতারণামূলক থেকে আলাদা হয়ে যায়: ডিকয়গুলো যা 'শিখেছে' তা টার্গেট প্রম্পট ব্যবহার করতে পারে না।
ডাবল প্রম্পটের মেকানিক্স
বাস্তবে এটি শ্রম বিভাজনের মতো দেখায়। ডিকয় প্রম্পটগুলো চূড়ান্ত পূর্বাভাসের জন্য প্রয়োজন হয় না — তাদের কাজ হলো উত্তরাধিকারসূত্রে পাওয়া বিকৃতির জন্য 'আবর্জনার ঝুড়ি' হওয়া। আর টার্গেট প্রম্পট সীমাবদ্ধতার শর্তে প্রশিক্ষিত হয়: এর ভেক্টর ডিকয়গুলোর দিকের সাথে মিলিত হওয়া উচিত নয়। এমবেডিং স্পেসে অর্থোগোনালিটি মানে হলো, ডিকয়গুলো যে বৈশিষ্ট্যগুলো ব্যবহার করেছে সেগুলো টার্গেট প্রম্পটের সিদ্ধান্তকে প্রভাবিত করে না। ফলে মডেলটি আরও গভীর, কার্যকারণ প্যাটার্ন খুঁজতে বাধ্য হয়।
কেন বিভাজন কাজ করে
অর্থোগোনালিটি — শুধু একটি প্রযুক্তিগত কৌশল নয়, বরং তাত্ত্বিক নিশ্চয়তা দেওয়ার একটি উপায়। পদ্ধতির বিশ্লেষণ দেখায়: একটি বিশেষ লস ফাংশন অদেখা ক্লাসের পূর্বাভাসের উপর ছদ্ম-স্থিতিস্থাপক বৈশিষ্ট্যের স্থানান্তরের প্রভাব সীমিত করে।
সংক্ষেপে: এমনকি যদি ডিকয়গুলো অনেক অতিরিক্ত তথ্য সংগ্রহ করে, এই তথ্য টার্গেট প্রম্পটে 'ঝরে পড়তে' পারবে না। ফলস্বরূপ, দেখা ক্লাস থেকে অদেখা ক্লাসে যাওয়ার সময় ডেটা বিতরণের যে স্থানান্তর ঘটে, তা মডেলের ত্রুটিকে কম প্রভাবিত করে। এই পদ্ধতি প্রতিকূল উদাহরণে আরও অনুমানযোগ্য আচরণ দেয় এবং এক শ্রেণির স্থিতিস্থাপকতাকে অন্য শ্রেণির খরচে আনে না।
পরীক্ষাগুলো কী দেখিয়েছে
বাস্তব পরীক্ষা নিশ্চিত করে: ADAPT বিদ্যমান প্রতিকূল টিউনিং পদ্ধতির তুলনায় অদেখা ক্লাসে টার্গেট প্রম্পটের স্থিতিস্থাপকতা উল্লেখযোগ্যভাবে উন্নত করে। মডেলটি শুধু নির্দিষ্ট আক্রমণের বিরুদ্ধে সুরক্ষা মুখস্থ করে না, বরং আরও পরিষ্কার বৈশিষ্ট্য গঠন করে যা নতুন উপাদানে কাজ করে।
অবশ্যই, মিথ্যা প্যাটার্ন থেকে সম্পূর্ণরূপে মুক্তি পাওয়া এখনও সম্ভব নয় — কার্যকারণ এবং সম্পর্কের বিভাজনের কাজটি মেশিন লার্নিংয়ের সবচেয়ে কঠিন সমস্যাগুলোর একটি। তবে 'কী শেখা উচিত নয় তা শেখানো' পদ্ধতিটি একটি বাস্তব নির্দেশনা দেয়: কখনও কখনও মডেল শেখানোর সেরা উপায় হলো এটিকে দেখানো যে কী উপেক্ষা করা উচিত।
অনুশীলনকারীদের জন্য প্রধান উপসংহার: ভিজ্যুয়াল-ল্যাঙ্গুয়েজ মডেল টিউন করার সময় শুধু প্রশিক্ষণ ডেটাতে নির্ভুলতা বৃদ্ধির দিকেই নজর দেওয়া উচিত নয়, বরং মডেলটি কোন বৈশিষ্ট্যগুলোর উপর নির্ভর করে সেদিকেও নজর দেওয়া উচিত। যদি প্রশিক্ষণ প্রক্রিয়ায় এলোমেলো প্যাটার্নের জন্য 'ফাঁদ' যোগ করা হয় — যেমন অর্থোগোনালিটি সহ ডাবল প্রম্পটের মাধ্যমে — তাহলে শুধু আরও নির্ভরযোগ্য নয়, আরও সৎ মডেলও পাওয়া যেতে পারে।
