বিশ্বাসযোগ্য উত্তরই যথেষ্ট নয়
বিশ্বাসযোগ্য ফলাফল প্রমাণ করে না যে AI এজেন্টটি পদ্ধতি মেনে চলেছে। তা যাচাই করতে শুধু উত্তর নয়, কাজ সম্পাদনের প্রমাণও পরীক্ষা করতে হবে।
ContractEval-এ পদ্ধতিগত সম্মতিকে আলাদা যাচাইয়ের বিষয় হিসেবে বিবেচনা করা হয়। একটি নিয়ন্ত্রিত সেটে LLM-বিচারকেরা কৃত্রিমভাবে যুক্ত করা অনেক কাঠামোগত ত্রুটি শনাক্ত করতে পারেনি। শুধু উত্তর মূল্যায়নের ক্ষেত্রেও এমন হয়েছে, আবার ট্রেস বিবেচনায় নেওয়ার ক্ষেত্রেও।
- উত্তর দেখায়, সিস্টেম কী জানিয়েছে।
- সম্পাদন ট্রেসে কাজের প্রমাণ থাকে।
- পদ্ধতিগত যাচাই এই প্রমাণগুলোকে শর্তের সঙ্গে মিলিয়ে দেখে।
মানদণ্ড: উত্তরের বিশ্বাসযোগ্যতাকে পদ্ধতি মেনে চলার প্রমাণ হিসেবে গণ্য করবেন না।
পদ্ধতিগত যাচাই কীভাবে কাজ করে
ContractEval নির্দেশনাকে নির্দিষ্ট অনুরোধের জন্য সক্রিয় বাধ্যবাধকতার একটি সেট হিসেবে উপস্থাপন করে। এরপর সিস্টেম উত্তর বা সম্পাদন ট্রেসের প্রমাণের সঙ্গে এই বাধ্যবাধকতাগুলো মিলিয়ে দেখে।
যাচাইয়ে তিনটি উপাদান রয়েছে:
- অনুরোধ নির্ধারণ করে কোন বাধ্যবাধকতাগুলো সক্রিয়।
- উত্তর বা ট্রেস প্রমাণের উৎস হিসেবে কাজ করে।
- মিলিয়ে দেখা সম্মতি ও লঙ্ঘন শনাক্ত করে।
ব্যবহারিক মানদণ্ড: যাচাইয়ে শর্তকে উত্তর বা ট্রেসের নির্দিষ্ট প্রমাণের সঙ্গে যুক্ত করতে হবে।
কোন কোন লঙ্ঘন আলাদা করে শনাক্ত করা যায়
ContractEval পদ্ধতিগত ব্যর্থতার আলাদা ধরন শনাক্ত করে। এই বিভাজন দেখায়, শর্ত ও সম্পাদনের মধ্যে ঠিক কোথায় অমিল রয়েছে।
- বাদ পড়া — বাধ্যতামূলক কাজ বা শর্ত অনুপস্থিত।
- ভুল শাখা — সম্পাদন পদ্ধতির অনুপযুক্ত শাখায় এগিয়েছে।
- ক্রমের ত্রুটি — কাজগুলো নির্ধারিত ক্রমে সাজানো নেই।
- অতিরিক্ত কাজ — সম্পাদনে নির্ধারিত সীমার বাইরে কোনো কাজ রয়েছে।
- ইনভেরিয়েন্ট লঙ্ঘন — যে শর্তটি অক্ষুণ্ণ থাকার কথা, তা মানা হয়নি।
- আউটপুটের শর্ত না মানা — ফলাফল নির্ধারিত ফরম্যাট বা বিষয়বস্তুর শর্ত পূরণ করে না।
মানদণ্ড: শ্রেণিবিন্যাসে ব্যর্থতার ধরন উল্লেখ করতে হবে, সব লঙ্ঘনকে উত্তরের সামগ্রিক মূল্যায়নে সীমাবদ্ধ রাখা যাবে না।
গবেষণায় কী দেখা গেছে
ContractEval গবেষণার লেখকেরা পদ্ধতিগত চুক্তির একটি নিয়ন্ত্রিত সেটে যাচাইয়ের বিভিন্ন পদ্ধতির তুলনা করেছেন। প্রত্যাশিত ও পর্যবেক্ষিত সম্পাদনের রেফারেন্স গ্রাফগুলো কৃত্রিমভাবে যুক্ত করা সব কাঠামোগত ত্রুটি শনাক্ত ও সুনির্দিষ্টভাবে চিহ্নিত করতে পেরেছে।
| যাচাইয়ের পদ্ধতি | ফলাফল |
|---|---|
| LLM-বিচারকেরা উত্তর মূল্যায়ন করেন বা ট্রেস বিবেচনায় নেন | যুক্ত করা অনেক ত্রুটি শনাক্ত করতে পারেননি |
| রেফারেন্স ও পর্যবেক্ষিত গ্রাফের মধ্যে মিলিয়ে দেখা | এই ধরনের সব ত্রুটি শনাক্ত ও সুনির্দিষ্টভাবে চিহ্নিত করেছে |
| LLM-এর সাহায্যে তথ্য আহরণ | সংকেতের একটি উল্লেখযোগ্য অংশ ধরে রেখেছে, তবে ক্যালিব্রেশনের ওপর নির্ভরশীল ছিল |
Praphul Singh, Shanu Kumar, Akshat Agarwal এবং Ganesh Kumar-এর গবেষণাপত্রটি ৮ সেপ্টেম্বর ২০২৬-এ arXiv-এ জমা দেওয়া হয়েছিল: ContractEval.
উপসংহার: ফলাফলগুলো নিয়ন্ত্রিত সেটের ক্ষেত্রে প্রযোজ্য; এগুলো যেকোনো পরিস্থিতিতে প্রয়োগ করা যায় না।
যাচাইয়ের সীমা কোথায়
ContractEval নিশ্চিত করে না যে সিস্টেম পদ্ধতি মেনেছে। এই গবেষণা সম্মতিকে চূড়ান্ত উত্তরের অন্তর্নিহিত গুণ হিসেবে ধরে না নিয়ে, নিরীক্ষাযোগ্য করে তোলে।
যাচাইয়ের পদ্ধতি বেছে নেওয়ার সময় দুটি শর্ত গুরুত্বপূর্ণ:
- প্রত্যাশিত সম্পাদনের কোনো রেফারেন্স উপস্থাপনা আছে কি না।
- সেটিকে প্রকৃত ট্রেস বা উত্তরের প্রমাণের সঙ্গে মেলানো যায় কি না।
LLM-এর সাহায্যে তথ্য আহরণ করা হলে, ফলাফল ক্যালিব্রেশনের প্রতি কতটা সংবেদনশীল, তা বিবেচনায় নিতে হবে। চূড়ান্ত উত্তর নিজে পদ্ধতিগত প্রমাণ যাচাইয়ের বিকল্প নয়।
ব্যবহারিক মানদণ্ড: শর্তগুলো পর্যবেক্ষিত সম্পাদনের সঙ্গে মেলানো হলেই কেবল সম্মতি যাচাইকৃত বলে গণ্য করুন।
