SpeechLLM-এর ওপর শ্রেণিবিন্যাসের অতিরিক্ত স্তর: আবেগ শনাক্তকরণে কোথায় এটি লেবেল তৈরির পদ্ধতিকে ছাড়িয়ে যায়

আবেগ শনাক্তকরণের দুটি পদ্ধতি

নিবন্ধটিতে LLM-এর লেবেল-টোকেন তৈরি এবং LLM-এর হিডেন স্টেটের ওপর লিনিয়ার হেড ব্যবহার করে ডিসক্রিমিনেটিভ শ্রেণিবিন্যাসের তুলনা করা হয়েছে। জেনারেটিভ পদ্ধতিটি LLM-এর আগে থেকেই থাকা আউটপুট রিপ্রেজেন্টেশনের ওপর নির্ভর করে। ডিসক্রিমিনেটিভ পদ্ধতিটি মডেলে আলাদা একটি শ্রেণিবিন্যাস হেড যোগ করে।

ব্যবহারিক পার্থক্য হলো, জেনারেশন মডেলের প্রস্তুত আউটপুট ব্যবহার করে, আর হেড হিডেন স্টেট থেকে তথ্য নেয়।

তুলনার শর্ত

IEMOCAP এবং MELD-এ তুলনা করা হয়েছে। একটি কমপ্যাক্ট SpeechLLM ব্যবহার করা হয়েছে: ফ্রোজেন Whisper-medium এনকোডার এবং 3B LLM। প্রতিটি তুলনায় রেফারেন্স ট্রান্সক্রিপ্ট এবং ASR ট্রান্সক্রিপ্ট নেওয়া হয়েছে। তুলনায় টেক্সটের দুটি উৎস অন্তর্ভুক্ত, তাই প্রতিটির জন্য আলাদাভাবে হেডের প্রভাব যাচাই করা হয়েছে। মূল্যায়নের মানদণ্ড: শুধু একই ডেটাসেট এবং একই ট্রান্সক্রিপ্ট উৎসের মধ্যেই ফলাফল তুলনা করা।

যেখানে শ্রেণিবিন্যাস হেড লেবেল জেনারেশনকে ছাড়িয়ে যায়

শ্রেণিবিন্যাস হেড ১৪টি কনফিগারেশনের মধ্যে ১০টিতে Macro F1 উন্নত করেছে। IEMOCAP-এ এটি ASR ট্রান্সক্রিপ্টসহ সব কনফিগারেশনে উন্নতি করেছে এবং 76.97% Macro F1 অর্জন করেছে। একই ডেটাসেটে শুধু-স্পিচ মোডেও উল্লেখযোগ্য উন্নতি দেখা গেছে। MELD-এ শুধু স্পিচ ব্যবহার করলে হেডটি সাহায্য করেছে, কিন্তু ASR ট্রান্সক্রিপ্টের ক্ষেত্রে নয়। উপসংহার: উন্নতির পরিমাণ ডেটাসেট এবং ট্রান্সক্রিপ্টের উৎসের ওপর নির্ভর করে। লেবেল জেনারেশনকে সব ক্ষেত্রে ছাড়িয়ে যাওয়ার কোনো পদ্ধতি নেই।

রেফারেন্স ট্রান্সক্রিপ্ট থেকে পাওয়া সিদ্ধান্ত কেন অন্য ক্ষেত্রে প্রয়োগ করা যায় না

MELD-এ ASR ট্রান্সক্রিপ্টের WER 32.38%। টেক্সটসহ ৬টি কনফিগারেশনের মধ্যে ৪টিতে রেফারেন্স ট্রান্সক্রিপ্ট ও ASR-এর মধ্যে হেডের প্রভাবের দিক বদলে যায়। তাই রেফারেন্স ট্রান্সক্রিপ্টের ভিত্তিতে নেওয়া সিদ্ধান্ত ASR-এর ক্ষেত্রেও প্রযোজ্য হবে, এমন নিশ্চয়তা নেই। ব্যবহারিক মানদণ্ড: যে টেক্সটের উৎস ব্যবহার করা হবে, সেই উৎসে হেডটি যাচাই করা।

অভিধানের নিকটতম টোকেনগুলো কী দেখায়

IEMOCAP এবং MELD-এ শেখা ক্লাস ভেক্টরের নিকটতম LLM অভিধান-টোকেনগুলো বেশিরভাগই আবেগের সঙ্গে সম্পর্কিত শব্দ ছিল। সেগুলো আবেগের সরাসরি নাম ছিল না। এতে বোঝা যায়, আবেগের স্পষ্ট নামটি নিকটতম অভিধান-টোকেনের সঙ্গে সব সময় মেলে না। যাচাইয়ের মানদণ্ড: শুধু লেবেলের নাম না দেখে, ক্লাস ভেক্টরের কাছাকাছি কোন টোকেনগুলো রয়েছে তা দেখা।

নির্বাচনের মানদণ্ড

পদ্ধতি বেছে নেওয়া দুটি বিষয়ের ওপর নির্ভর করে: ডেটাসেট এবং ট্রান্সক্রিপ্টের উৎস।

• ASR ট্রান্সক্রিপ্টের ক্ষেত্রে রেফারেন্স টেক্সটে নয়, ASR-এ হেডটি যাচাই করুন।
• শুধু-স্পিচ মোডের ক্ষেত্রে IEMOCAP এবং MELD-এ হওয়া উন্নতি বিবেচনা করুন।
• রেফারেন্স ট্রান্সক্রিপ্টের ফলাফল ASR-এর ক্ষেত্রে প্রয়োগ করবেন না।
• ক্লাসগুলো ব্যাখ্যা করতে LLM অভিধানের নিকটতম টোকেনগুলো দেখুন।

চূড়ান্ত মানদণ্ড: লক্ষ্য ডেটাসেট ও ট্রান্সক্রিপ্টের উৎসে যাচাই করে যেখানে উন্নতি দেখা যায়, সেখানেই হেড লেবেল জেনারেশনকে ছাড়িয়ে যায়।