গবেষণাটি কোন সমস্যার সমাধান করে
লেখকেরা যাচাই করেছেন, বড় ভাষা মডেল XAI ব্যাখ্যার তুলনামূলক মূল্যায়নের একটি পুনরুৎপাদনযোগ্য ও সম্প্রসারণযোগ্য উপায় হয়ে উঠতে পারে কি না।
«XAI-Arena: Can LLMs Assess the Quality of XAI Explanations?» শীর্ষক নিবন্ধটি arXiv-এ arXiv:2609.09428 হিসেবে প্রকাশিত হয়েছে। এটি 8 сентября 2026 года তারিখে জমা দেওয়া হয়েছিল।
লেখকেরা হলেন Yanfei Hu Fleischhauer, Alona Zharova, Nadja Klein এবং Stefan Feuerriegel। তাঁরা XAI-Arena উপস্থাপন করেছেন—বহুমাত্রিক ব্যাখ্যা মূল্যায়নের জন্য LLM-as-a-judge কাঠামোর একটি পদ্ধতি।
এই পদ্ধতির মূল লক্ষ্য হলো বিভিন্ন অংশীজনের স্বার্থ বিবেচনায় রেখে ব্যাখ্যার গুণমান তুলনা করা। ব্যবহারিক নির্দেশনা হলো: ব্যাখ্যার শুধু একটি বৈশিষ্ট্য নয়, বরং গুণমানের একাধিক মাত্রা মূল্যায়ন করা।
মূল্যায়নে কোন মানদণ্ডগুলো বিবেচনা করা হয়
মূল্যায়নে আটটি মাত্রা অন্তর্ভুক্ত রয়েছে:
- অনুভূত সরলতা — অনুভূত সরলতা;
- স্পষ্টতা — স্পষ্টতা;
- কাজের উপযোগিতা — কাজের উপযোগিতা;
- আস্থার সমন্বয় — আস্থার সমন্বয়;
- কার্যকর প্রয়োগযোগ্যতা — কার্যকর প্রয়োগযোগ্যতা;
- স্বচ্ছতা — স্বচ্ছতা;
- বিশ্বস্ততা — বিশ্বস্ততা;
- সামগ্রিক ব্যাখ্যাযোগ্যতা — সামগ্রিক ব্যাখ্যাযোগ্যতা।
এই মানদণ্ডগুলোর সমষ্টি ব্যাখ্যাকে বিভিন্ন দৃষ্টিকোণ থেকে বিবেচনা করার সুযোগ দেয়। মূল্যায়ন কাঠামো নির্বাচন করার সময়, তুলনার কাজের সঙ্গে এই মাত্রাগুলোর কোনগুলো প্রাসঙ্গিক তা বিবেচনা করা গুরুত্বপূর্ণ।
LLM-এর মূল্যায়ন মানুষের মূল্যায়নের সঙ্গে কতটা সামঞ্জস্যপূর্ণ
লেখকেরা যাচাই করেছেন, LLM-এর মূল্যায়ন মানুষের মূল্যায়নের সঙ্গে কতটা মেলে। যাচাইয়ে শক্তিশালী ইতিবাচক সম্পর্ক দেখা গেছে: Spearman’s rho = .693, p < .001।
ফলাফলটি মূল্যায়নের মধ্যে সামঞ্জস্য নির্দেশ করে, তবে সম্পূর্ণ মিল নয়। তাই LLM-কে তুলনামূলক মূল্যায়নের ভিত্তি হিসেবে বিবেচনা করা যেতে পারে, মানুষের মূল্যায়নের অবিকল বিকল্প হিসেবে নয়।
কোন ধরনের তুলনার জন্য এই পদ্ধতি উপযোগী
লেখকেরা বিভিন্ন ডেটাসেট, মেশিন লার্নিং মডেল এবং অংশীজনের ব্যক্তিত্বের ভিত্তিতে XAI পদ্ধতিগুলোর তুলনা করেছেন। এই যাচাই একটি নির্দিষ্ট শর্তসমষ্টির পরিবর্তে মূল্যায়নের একাধিক প্রেক্ষাপটকে অন্তর্ভুক্ত করে।
লেখকদের উপসংহার, LLM-ভিত্তিক মূল্যায়ন XAI ব্যাখ্যার গুণমানে পদ্ধতিগত পার্থক্য শনাক্ত করে এবং তুলনার জন্য একটি সম্প্রসারণযোগ্য ও পুনরুৎপাদনযোগ্য ভিত্তি দেয়। ব্যবহারিক নির্বাচনের মানদণ্ড হলো—একাধিক মাত্রায় এবং বিভিন্ন অংশীজনকে বিবেচনায় রেখে ব্যাখ্যাগুলোর তুলনা করার প্রয়োজন।
