মাল্টি-এজেন্ট LLM-এ পূর্ববর্তী এজেন্টের অবিশ্বস্ত বার্তা এবং সঠিক উত্তর প্রতিস্থাপন: একটি নিয়ন্ত্রিত পরীক্ষা

পরীক্ষার নকশা

গবেষণাটি ২০২৬ সালের ২৯ সেপ্টেম্বর arXiv-এ জমা দেওয়া হয়। শিরোনাম: “When Upstream Messages Override Correct Answers: A Controlled Study of Multi-Agent LLM Collaboration”. লেখক: Yaxin Gong, Gangyi Zhang, Chongming Gao, Leyang Shen, Chenxiao Fan, Jiakai Wang, Dong Wang, Yang Liu, Wenjie Wang, Xiangnan He।

এই গবেষণায় পরীক্ষা করা হয়েছে, ঊর্ধ্বতন এজেন্টের বার্তা অধস্তন এজেন্টের উত্তরকে কীভাবে প্রভাবিত করে। পাঁচটি বেঞ্চমার্ক ও পাঁচটি প্রাপক নিয়ে নিয়ন্ত্রিত পরীক্ষা চালানো হয়েছে। মূল পরামিতিগুলো হলো:

• পাঁচটি বেঞ্চমার্ক;
• পাঁচটি প্রাপক;
• অপরিবর্তিত কাজ;
• অধস্তন এজেন্টের কাছে থাকা অপরিবর্তিত প্রমাণ।

ব্যবহারিক মানদণ্ড: কাজ ও প্রমাণ থেকে বার্তাটিকে আলাদাভাবে মূল্যায়ন করুন।

তিনটি শর্ত

তিনটি শর্তের তুলনা করা হয়েছে। সব শর্তেই কাজ ও প্রমাণ একই। শুধু বার্তাটি আলাদা।

এই নকশা বার্তার প্রভাবকে কাজের প্রভাব থেকে আলাদা করে। মানদণ্ড: বার্তাকে এমন একটি স্বতন্ত্র উপাদান হিসেবে বিবেচনা করুন, যা চালু বা বন্ধ করা যায়।

বার্তার ইতিবাচক প্রভাব

বার্তা না থাকলে অধস্তন এজেন্টের উত্তর ভুল হওয়ার সম্ভাবনা থাকলে বার্তা প্রায়ই সাহায্য করে। এ ক্ষেত্রে ঊর্ধ্বতন এজেন্টের বার্তা সঠিক উত্তরকে সমর্থন করে।

ব্যবহারিক মানদণ্ড: সঠিক উত্তর দেওয়ার মতো পর্যাপ্ত প্রমাণ অধস্তন এজেন্টের কাছে না থাকলে বার্তা পাঠান।

সঠিক উত্তর প্রতিস্থাপন

বার্তা না থাকলে অধস্তন এজেন্ট সঠিক উত্তর দিত—এমন ক্ষেত্রে ঊর্ধ্বতন এজেন্টের ভুল বার্তা ৩২% পর্যন্ত ক্ষেত্রে উত্তর বদলে দিয়েছে। মূল তথ্য:

• বার্তা ছাড়া উত্তর সঠিক হলে, ৩২% পর্যন্ত ক্ষেত্রে;
• ক্ষতিকর প্রভাবের যেসব ঘটনা যাচাই করা হয়েছে, তার ৯৪%-এ অধস্তন এজেন্ট ঊর্ধ্বতন এজেন্টের নির্দিষ্ট ভুল উত্তরটি অনুকরণ করেছে;
• লেখকেরা এই ঘটনাকে “answer substitution” বলেন।

মানদণ্ড: বার্তাটি সঠিক সিদ্ধান্তের বদলে নির্দিষ্ট কোনো ভুল সিদ্ধান্ত বসিয়ে দিচ্ছে কি না, তা যাচাই করুন।

অনির্ভরযোগ্য বার্তা বাদ দেওয়া

অনির্ভরযোগ্য বার্তা বাদ দিলে হারানো নির্ভুলতার কিছুটা ফিরে আসে। এই ব্যবস্থা ক্ষতি কমায়, তবে আগের স্তরে ফিরিয়ে আনে না।

ব্যবহারিক মানদণ্ড: উত্তর দেওয়ার পরে নয়, পাঠানোর আগে বার্তাগুলো ফিল্টার করুন।

বার্তা বাছাইয়ের মানদণ্ড

লেখকদের মতে, পাঠানোর জন্য বার্তা বাছাই করার সময় ঊর্ধ্বতন এজেন্টের নির্ভরযোগ্যতা এবং অধস্তন এজেন্টের কাছে ইতিমধ্যে থাকা প্রমাণ বিবেচনা করা উচিত। অর্থাৎ, ঊর্ধ্বতন এজেন্টের নির্ভরযোগ্যতাই একমাত্র বিবেচ্য বিষয় নয়। অধস্তন এজেন্ট নিজে যা যাচাই করতে পারে, তার সঙ্গে বার্তাটি মিলিয়ে দেখা দরকার।

• ঊর্ধ্বতন এজেন্টের নির্ভরযোগ্যতা।
• অধস্তন এজেন্টের কাছে ইতিমধ্যে থাকা প্রমাণ।
• সেই প্রমাণের সঙ্গে বার্তার সামঞ্জস্য।

মানদণ্ড: ইতিমধ্যে উপলভ্য প্রমাণের সঙ্গে সামঞ্জস্যপূর্ণ বার্তাকে অগ্রাধিকার দিন।