DSPA কী
DSPA (Dynamic SAE Steering for Preference Alignment) হলো ইনফারেন্স পর্যায়ে preference alignment করার একটি পদ্ধতি। এটি বেস মডেলের ওজন আপডেট করে না; বরং জেনারেশন নিয়ন্ত্রণে preference data ব্যবহার করে।
এ জন্য পদ্ধতিটির preference triples প্রয়োজন। সেগুলোর সাহায্যে DSPA এমন একটি ম্যাপ তৈরি করে, যা প্রম্পটের বৈশিষ্ট্যকে জেনারেশন নিয়ন্ত্রণের বৈশিষ্ট্যের সঙ্গে যুক্ত করে।
DSPA কীভাবে জেনারেশন বদলায়
ডিকোডিংয়ের সময় পদ্ধতিটি শুধু বর্তমান টোকেনের জন্য সক্রিয় latent-গুলো পরিবর্তন করে। অন্য latent-গুলোতে এটি হাত দেয় না।
প্রধান ধাপগুলো:
- DSPA preference triples গ্রহণ করে।
- প্রম্পট ও নিয়ন্ত্রণের বৈশিষ্ট্যের মধ্যে একটি conditional-difference map তৈরি করে।
- ডিকোডিংয়ের সময় টোকেনের জন্য সক্রিয় latent-গুলো পরিবর্তন করে।
পরীক্ষায় কী দেখা গেছে
Gemma-2-2B/9B এবং Qwen3-8B-তে পদ্ধতিটি MT-Bench-এ ফলাফল উন্নত করেছে। AlpacaEval-এ DSPA প্রতিযোগিতামূলক ফল দেখিয়েছে এবং multiple-choice কাজগুলোতে নির্ভুলতা বজায় রেখেছে।
সীমিত preference data-তেও পদ্ধতিটি স্থিতিশীল ছিল এবং দুই-ধাপের RAHF-SCIT pipeline-এর সঙ্গে প্রতিদ্বন্দ্বিতা করতে পেরেছে। alignment-এর জন্য DSPA-তে FLOPs লেগেছে সর্বোচ্চ 4.47× কম।
গবেষণাটি EMNLP 2026 Main Conference-এ গৃহীত হয়েছে। ফলাফলগুলো উল্লিখিত মডেল ও কাজের ক্ষেত্রে প্রযোজ্য।
পদ্ধতিটি কোন সংকেত ব্যবহার করে
পরিবর্তিত SAE বৈশিষ্ট্যগুলোর নিরীক্ষায় দেখা গেছে, preference-এর দিকনির্দেশগুলো মূলত discourse ও শৈলীগত সংকেতের সঙ্গে সম্পর্কিত।
গবেষণায় conditional-difference map-এর অনুমানকে আরও সুনির্দিষ্ট করে এমন একটি তত্ত্বও উপস্থাপন করা হয়েছে। এতে top-k ablation যুক্তিসংগত হওয়ার শর্তগুলো বর্ণনা করা হয়েছে।
কখন DSPA বিবেচনা করবেন
বেস মডেলের ওজন আপডেট না করে preference alignment করতে হয়—এমন কাজের জন্য এই পদ্ধতিটি বিবেচনা করা যেতে পারে। এটি চালাতে preference triples প্রয়োজন।
ব্যবহারিকভাবে, কাজটিকে MT-Bench, AlpacaEval এবং multiple-choice কাজের ফলাফলের সঙ্গে মিলিয়ে দেখা যেতে পারে। RAHF-SCIT-এর সঙ্গে তুলনার সময় alignment পর্যায়ে FLOPs আলাদাভাবে বিবেচনা করা হয়।
