ক্ষেত্র: content লক্ষ্য ভাষা: বাংলা (bn)
যখন বিচারক পক্ষপাতদুষ্ট: স্ব-শিক্ষারত এজেন্টরা অকেজো দক্ষতা বাদ দেওয়া বন্ধ করে দেয়
এমন একটি এজেন্টের কথা কল্পনা করুন যে নিজেই তার দক্ষতার লাইব্রেরি সমৃদ্ধ করে: নতুন পদ্ধতি চেষ্টা করে, সফলগুলো রাখে, অকেজোগুলো বাদ দেয়। এটি কাজ করার জন্য, এমন একটি প্রক্রিয়া প্রয়োজন যা লাইব্রেরিকে আবর্জনায় ভরে যেতে দেয় না। এই ধরনের এজেন্টের আধুনিক ডিজাইনে, এই ভূমিকা পালন করে skill retirement — একটি কাঠামোগত সীমাবদ্ধতা যা নিশ্চিত করে যে দক্ষতার ভাণ্ডার «একদম কোনো দক্ষতা নেই» এর চেয়ে খারাপ না হয়। কিন্তু, গবেষকদের একটি দলের সাম্প্রতিক কাজ যেমন দেখিয়েছে, এই নিশ্চয়তার একটি লুকানো দুর্বলতা রয়েছে: এটি মানের সৎ মূল্যায়নের উপর নির্ভর করে। আর যদি মূল্যায়নটি একজন LLM-বিচারক দেন, তাহলে সততা নিশ্চিত নয়।
কেন retirement গুরুত্বপূর্ণ
একটি এজেন্টের জন্য যে ক্রমাগত নতুন দক্ষতা উদ্ভাবন করে, একটি স্বাভাবিক সমস্যা রয়েছে: তাদের একটি অংশ কেবল অকেজো নয়, ক্ষতিকারকও হয়ে ওঠে — এটি মৌলিক কাজ সম্পাদনে বাধা দেয়। সীমাবদ্ধতা ছাড়া, লাইব্রেরি অনির্দিষ্টকালের জন্য বৃদ্ধি পায় এবং মান হ্রাস পায়। Skill retirement হল একজন মালীর মতো, যে সময়মতো আগাছা উপড়ে ফেলে। প্রক্রিয়াটি এই ধারণার উপর ভিত্তি করে তৈরি যে প্রতিটি দক্ষতার অবদান পরিমাপ করা যায়: যদি একটি দক্ষতা কোনো উপকার না আনে, তবে এটি মুছে ফেলা হয়।
কিন্তু কীভাবে অবদান পরিমাপ করা যায় যখন কোনো আদর্শ উত্তর নেই? অনেক ব্যবহারিক কাজে — প্রতিবেদন লেখা, পাঠ্য বিশ্লেষণ, পরিকল্পনা তৈরি — কোনো সঠিক সমাধান থাকে না। তাই বস্তুনিষ্ঠ যাচাইয়ের পরিবর্তে একজন LLM-বিচারক ব্যবহার করতে হয়। আর এখানেই সমস্যার মূল লুকিয়ে আছে।
পক্ষপাতদুষ্ট বিচারক: নীরব নাশকতা
«The Blind Curator: How a Biased Judge Silently Disables Skill Retirement in Self-Evolving Agents» নিবন্ধের লেখকরা (Zhang, Cui, Wang, Li, Qiu, Zhu, He — কাজটি COLM 2026 Workshop on Agent Behavior-এ উপস্থাপিত হয়েছে) বিবেচনা করেছেন যে বিচারক যদি পদ্ধতিগতভাবে ভুল করেন তাহলে কী ঘটে। তারা একটি গুরুত্বপূর্ণ ধরনের ত্রুটি চিহ্নিত করেছেন — false-pass: যখন বিচারক একটি ব্যর্থ ফলাফলকে সফল হিসেবে পাস করেন। মনে হয়, সামান্য ঢালু — ভাবুন তো, বিচারক খুব উদার। বাস্তবে, এটি একটি অপ্রত্যাশিত প্রভাবের দিকে নিয়ে যায়: পক্ষপাতদুষ্ট বিচারক কেবল মূল্যায়নে শব্দ যোগ করেন না, তিনি সম্পূর্ণরূপে retirement প্রক্রিয়াটি নিষ্ক্রিয় করে দেন।
পরীক্ষার বিশুদ্ধতার জন্য, গবেষকরা পক্ষপাতের প্রভাবকে সাধারণ শব্দ থেকে আলাদা করেছেন। দেখা গেছে, প্রতিসম শব্দ (বিচারক উভয় দিকে সমানভাবে ভুল করেন) retirement-এর কাজে বাধা দেয় না। কিন্তু মিথ্যা সাফল্যের দিকে অপ্রতিসম ঝোঁক সবকিছু ভেঙে দেয়।
তীক্ষ্ণ সীমা যা অতিক্রম করা যায় না
সবচেয়ে চমকপ্রদ বিষয় হল কীভাবে ব্যর্থতা ঘটে। এটি ধীরে ধীরে নয়। যতক্ষণ false-pass-এর অনুপাত প্রায় 0,45-এর বেশি না হয় — অর্থাৎ বিচারক অর্ধেকের কম ব্যর্থতা পাস করেন — প্রক্রিয়াটি কাজ করে। কিন্তু এই সীমা অতিক্রম করলেই, অবদান-ভিত্তিক retirement সম্পূর্ণরূপে কাজ করা বন্ধ করে দেয়। ডেটার পরিমাণ বা পুনরাবৃত্তির সংখ্যা বাড়ানো কোনো কাজে আসে না: আরও উদাহরণ সংগ্রহ করে সীমাটি পিছনে অতিক্রম করা সম্ভব নয়।
গবেষকরা বিভিন্ন পরিস্থিতিতে এটি পরীক্ষা করেছেন: রেফারেন্স ছাড়া প্রতিবেদন তৈরির পরিবেশে (কোড তৈরির সাথে ক্রস-চেক সহ) এবং অন্যান্য ডোমেইনে, বিভিন্ন ব্যর্থতার হারের সাথে। প্রক্রিয়ার ব্যর্থতা সর্বত্র পুনরুত্পাদনযোগ্য। একমাত্র ব্যতিক্রম — প্রায় নিখুঁত ভেরিফায়ার-বিচারক, যেখানে ত্রুটির হার শূন্যের কাছাকাছি, তবে এটি বাস্তব LLM-বিচারকদের জন্য একটি বিরল ঘটনা।
একটি গুরুত্বপূর্ণ বিবরণ: তারা প্রকৃত retirement (সত্যিই অকেজো দক্ষতা অপসারণ) এবং «ক্যাপ-ইভিকশন» (আনুষ্ঠানিক কারণে পুরানো দক্ষতাকে নতুন দক্ষতা দ্বারা বের করে দেওয়া) এর মধ্যে পার্থক্য করে। প্রথমটিই নিষ্ক্রিয় হয়, এবং এটি একটি সার্বজনীন প্রভাব, কোনো নির্দিষ্ট পরিবেশের কৃত্রিম ফলাফল নয়।
«নীরব» অবনমন: কেন সমস্যাটি দেখা যায় না
যদি প্রক্রিয়াটি ভাঙা থাকে, তাহলে আশা করা যায় যে মেট্রিক্স অবিলম্বে অবনমন দেখাবে। কিন্তু না। লেখকরা আবিষ্কার করেছেন যে কিছু মোডে, মূল্যায়নের মান স্থিতিশীল থাকে, retirement নিষ্ক্রিয় হওয়া সত্ত্বেও। অবনমন কেবল সেখানেই প্রকাশ পায় যেখানে বিচারকের একই দুর্নীতি নতুন দক্ষতার সংশ্লেষণকেও অতিরিক্তভাবে ক্ষয় করে। যদি সংশ্লেষণ কাজ করে, তবে সামগ্রিক চিত্রটি স্বাভাবিক দেখায়।
নিষ্ক্রিয় কিউরেটর — «নীরব»: কোনো সমষ্টিগত সূচক তার অনুপস্থিতি প্রকাশ করে না। বাহ্যিকভাবে এজেন্ট কাজ করতে থাকে, এখনও প্রতিবেদন তৈরি করে, কিন্তু তার লাইব্রেরি ধীরে ধীরে আবর্জনায় ভরে যায় এবং বৃদ্ধির সম্ভাবনা হ্রাস পায়। এটি সমস্যাটিকে বিশেষভাবে বিপজ্জনক করে তোলে: সাধারণ পরীক্ষায় এটি লক্ষ্য করা অসম্ভব।
মোতায়েনের আগে কীভাবে বিচারককে যাচাই করবেন
লেখকরা একটি সস্তা এবং ব্যবহারিক নিরীক্ষার উপায় প্রস্তাব করেছেন — ত্রুটি ইনজেকশন। ধারণাটি সহজ: মোতায়েনের আগে, অপারেটর ইচ্ছাকৃতভাবে লাইব্রেরিতে একটি জ্ঞাতসারে অকেজো দক্ষতা প্রবেশ করান (বা বিচারককে একটি জ্ঞাতসারে খারাপ ফলাফল দেন) এবং দেখেন বিচারক কীভাবে প্রতিক্রিয়া জানায়। যদি বিচারক এটি বাতিল করেন — সব ঠিক আছে। যদি পাস করেন — তাহলে সিস্টেমটি সীমার অন্য পাশে রয়েছে, এবং retirement সম্ভবত ইতিমধ্যেই কাজ করছে না।
এই ধরনের পরীক্ষার জন্য জটিল অবকাঠামোর প্রয়োজন হয় না এবং সময়ও লাগে কম। এটি কেবল একটি নির্দিষ্ট ত্রুটি দেখায় না, বরং দেখায় যে বিচারক সীমার কোন পাশে রয়েছেন — অর্থাৎ, এজেন্ট বাস্তব মোডে অকেজো দক্ষতা জমা করা শুরু করার আগেই সিদ্ধান্ত নেওয়া যায়।
উপসংহারের পরিবর্তে
এই গবেষণাটি — আচরণের নিরাপত্তা সম্পর্কে, কর্মক্ষমতা সম্পর্কে নয়। এটি প্রতিশ্রুতি দেয় না যে এজেন্টরা দ্রুত বা আরও নির্ভুল হবে। এটি অন্য কিছু বলে: এমনকি skill retirement-এর মতো একটি রক্ষণশীল সুরক্ষা প্রক্রিয়াও পক্ষপাতদুষ্ট বিচারক দ্বারা নীরবে নিষ্ক্রিয় হতে পারে, এবং সিস্টেমটি সুস্থ দেখাতে থাকবে। ভালো খবর হল, এই প্রক্রিয়াটি প্রকৃত ক্ষতি করার আগে একটি সহজ পরীক্ষার মাধ্যমে নির্ণয় করা যায়। যারা স্ব-শিক্ষারত এজেন্ট ডিজাইন করেন তাদের জন্য, এটি ভাবার একটি কারণ: আপনার বিচারক কতটা সৎ — এবং যদি তিনি হঠাৎ খুব ক্ষমাশীল হয়ে যান তাহলে কী হবে।
