CEG-Agent: ত্রুটি গ্রাফের মাধ্যমে LLM এজেন্টের ট্রেসে ব্যর্থতার কারণগত বিশ্লেষণ
এই কাজটিতে CEG-Agent প্রস্তাব করা হয়েছে—এজেন্ট ট্রেসের কারণভিত্তিক নির্ণয়ের জন্য একটি টুল-ভিত্তিক ফ্রেমওয়ার্ক। আনুষ্ঠানিক শ্রেণিবিন্যাসে অস্বাভাবিকতা, ত্রুটি ও ব্যর্থতাকে পৃথক করা হয়েছে, আর টাইপযুক্ত CEG গ্রাফগুলো রানটাইম ইভেন্টকে নির্ণয়মূলক নোড ও চূড়ান্ত ব্যর্থতার সঙ্গে যুক্ত করে; CEG-Bench বেঞ্চমার্কটি অর্থগত ও কাঠামোগত নির্ভুলতায় এই পদ্ধতির শ্রেষ্ঠত্ব নিশ্চিত করে।
এজেন্ট ট্রেসের ডায়াগনস্টিক কোথায় ব্যর্থ হয়
জটিল অ্যাপ্লিকেশনে LLM-ভিত্তিক এজেন্ট ব্যবহার করা হয়। এসব এজেন্টের ট্রেস দীর্ঘ হয়। ফলে ত্রুটি নির্ণয় কঠিন হয়ে পড়ে।
বর্তমান ডায়াগনস্টিক পদ্ধতিগুলো অস্বাভাবিকতা, ত্রুটি ও ব্যর্থতাকে একসঙ্গে মিশিয়ে ফেলে। এর ফলে ডায়াগনস্টিকের লক্ষ্যগুলো অস্পষ্ট হয়ে যায়।
কারণগতভাবে গুরুত্বপূর্ণ ত্রুটিগুলো কীভাবে ছড়ায় ও তীব্র হয়, পদ্ধতিগুলো তা কাঠামোবদ্ধভাবে মডেল করে না। ফলে কাজের চূড়ান্ত ব্যর্থতার কারণ নির্ভরযোগ্যভাবে শনাক্ত করা যায় না।
ব্যবহারিক মানদণ্ড: ডায়াগনস্টিক পদ্ধতিকে বিচ্যুতির ধরনগুলো আলাদা করতে হবে এবং সেগুলোর মধ্যে কারণগত সম্পর্ক অনুসরণ করতে হবে।
CEG-Agent কী
CEG-Agent হলো টুল-ব্যবহারকারী এজেন্ট ফ্রেমওয়ার্ক। এটি এজেন্ট ট্রেসের কারণগত ডায়াগনস্টিক সম্পন্ন করে।
ফ্রেমওয়ার্কটি অস্বাভাবিকতা, ত্রুটি ও ব্যর্থতার একটি সুস্পষ্ট শ্রেণিবিন্যাস চালু করে। এর ভিত্তিতে এটি Causal Error Graphs (CEGs) তৈরি করে।
| পদ্ধতি | অস্বাভাবিকতা, ত্রুটি ও ব্যর্থতার বিভাজন | ত্রুটি ছড়ানোর মডেল |
|---|---|---|
| বর্তমান ডায়াগনস্টিক পদ্ধতি | এই ধারণাগুলোকে একসঙ্গে মিশিয়ে ফেলে | কাঠামোবদ্ধভাবে মডেল করে না |
| CEG-Agent | সুস্পষ্ট শ্রেণিবিন্যাস চালু করে | কারণগত সম্পর্কসহ CEGs তৈরি করে |
নির্বাচনের মানদণ্ড: ফ্রেমওয়ার্কটিকে দ্ব্যর্থহীন ডায়াগনস্টিক লক্ষ্য দিতে হবে এবং কারণের একটি টাইপযুক্ত মডেলের ওপর নির্ভর করতে হবে।
Causal Error Graphs: কারণের টাইপযুক্ত উপস্থাপনা
CEGs হলো একটি একীভূত টাইপযুক্ত উপস্থাপনা। এটি ট্রেসের উপাদানগুলোকে কারণগত সম্পর্কের মাধ্যমে যুক্ত করে।
গ্রাফে তিন ধরনের উপাদান থাকে:
- নির্বাহের ঘটনা;
- ডায়াগনস্টিক নোড;
- ব্যর্থতারূপে পরিণতি।
সব উপাদান একটি অভিন্ন বিন্যাসে কারণগত সম্পর্কের মাধ্যমে যুক্ত। এটাই গ্রাফটিকে বিচ্ছিন্ন সংকেতের সমষ্টি থেকে আলাদা করে।
মানদণ্ড: উপস্থাপনাটিকে সুস্পষ্ট কারণগত সম্পর্কের মাধ্যমে নির্বাহের ধাপগুলোকে চূড়ান্ত ব্যর্থতার সঙ্গে যুক্ত করতে হবে।
CEG-Bench এবং AAAP-এর মাধ্যমে অ্যানোটেশন
ট্রেসের কারণগত ডায়াগনস্টিক মূল্যায়নের জন্য CEG-Bench তৈরি করা হয়েছে। এটি সম্পূর্ণ এজেন্ট-নির্ভর অ্যানোটেশনসহ একটি বেঞ্চমার্ক।
বেঞ্চমার্কে CEG অ্যানোটেশন তৈরি করা হয়েছে Adversarial Agentic Adjudication Protocol (AAAP) ব্যবহার করে। অ্যানোটেশনগুলো উচ্চ-নির্ভরযোগ্য এবং সামঞ্জস্যপূর্ণ।
বিশেষজ্ঞদের তৈরি মানব-রেফারেন্স সেটের বিপরীতে অ্যানোটেশনগুলো যাচাই করা হয়েছে। স্বয়ংক্রিয় অ্যানোটেশনগুলো বিশেষজ্ঞদের অ্যানোটেশনের সঙ্গে ঘনিষ্ঠ সামঞ্জস্য দেখিয়েছে।
মানদণ্ড: মানব-রেফারেন্স সেটের বিপরীতে যাচাইকৃত অ্যানোটেশনসহ বেঞ্চমার্ক কারণগত ডায়াগনস্টিক পদ্ধতিগুলোর তুলনার জন্য উপযোগী।
ফলাফল এবং নির্বাচনের মানদণ্ড
CEG-Bench-এ পরীক্ষায় CEG-Agent অত্যাধুনিক ফলাফল অর্জন করে। মূল্যায়ন করা হয়েছিল দুটি মানদণ্ডে।
প্রথম মানদণ্ডটি ছিল অর্থগতভাবে শিথিল মূল্যায়ন। দ্বিতীয়টি ছিল কাঠামোগতভাবে নির্ভুল মূল্যায়ন। উভয় ক্ষেত্রেই ফ্রেমওয়ার্কটি অত্যাধুনিক ফলাফল দেখায়।
নির্বাচনের মানদণ্ড: কাজের জন্য বিশ্লেষণের অর্থগত ও কাঠামোগত—দুই ধরনের নির্ভুলতাই দরকার হলে, এই স্তরের ফলাফল অর্জনকারী পদ্ধতিকে আদর্শ হিসেবে বিবেচনা করা যায়।
সাধারণ প্রশ্নোত্তর
বিভিন্ন উপাদান
সব উপাদান
চিকিৎসাবিষয়ক LLM-গুলো নির্দেশিকা সংশোধনের কথা জানে, কিন্তু প্রায়ই পুরোনো নিয়ম অনুযায়ী উত্তর দেয়
1709টি ক্লিনিক্যাল নির্দেশিকার পরিবর্তন নিয়ে ChronoEvo-এর গবেষণায় দেখা গেছে: মূল মডেলে 90,8% উত্তর নতুনত্বটি শনাক্ত করেছিল, তবে মাত্র 58,5% তা সম্পূর্ণভাবে প্রয়োগ করেছিল; 32,3 শতাংশ পয়েন্টের এই ব্যবধান 14টি মডেলেই বজায় ছিল। আপডেটগুলোর দৃশ্যমানতা বাড়িয়েও নতুন নিয়মগুলো ক্লিনিক্যাল নির্দেশিকায় সম্পূর্ণভাবে অন্তর্ভুক্ত করার ক্ষেত্রে উল্লেখযোগ্য উন্নতি হয়নি।
4 নভেম্বর 2026
সীমাবদ্ধ LLM-এ এজেন্টদের জন্য বিশ্ব মডেল: ঝুঁকির মুহূর্তে সংশোধন
PAWM প্রস্তাব করা হয়েছে—একটি বাহ্যিক পূর্বাভাসদাতা, যা ধাপে ধাপে পর্যবেক্ষণের পুনরাবৃত্তি না করে সম্ভাব্য ব্যর্থতার সময় সক্রিয় হয় এবং এজেন্টকে ভুল পদক্ষেপ থেকে সরিয়ে দেয়। সিন্থেটিক পরিস্থিতিতে SFT এবং GRPO-সহ-প্রশিক্ষণের পর, Claude Sonnet 4.5-এর জন্য পদ্ধতিটি ScienceWorld-এ 24,3% এবং WebArena-Lite-এ 7,7% উন্নতি এনেছে।
4 নভেম্বর 2026
SpeechLLM-এর ওপর শ্রেণিবিন্যাসের অতিরিক্ত স্তর: আবেগ শনাক্তকরণে কোথায় এটি লেবেল তৈরির পদ্ধতিকে ছাড়িয়ে যায়
IEMOCAP ও MELD ডেটাসেটে কমপ্যাক্ট SpeechLLM-এর লুকানো উপস্থাপনার ওপর জেনারেটিভ আবেগ-লেবেল পূর্বাভাস এবং লিনিয়ার ক্লাসিফায়ারের তুলনা করা হয়েছে। ক্লাসিফায়ার থেকে প্রাপ্ত মানের উন্নতি সর্বজনীন নয়: এটি কর্পাসের ওপর এবং রেফারেন্স ট্রান্সক্রিপ্ট নাকি ASR-এর ফলাফল ব্যবহার করা হচ্ছে, তার ওপর নির্ভর করে।
4 নভেম্বর 2026