সীমাবদ্ধ LLM-এ এজেন্টদের জন্য বিশ্ব মডেল: ঝুঁকির মুহূর্তে সংশোধন

সমস্যা: এজেন্টের পরিবেশ সম্পর্কে পর্যাপ্ত জ্ঞান নেই

LLM-ভিত্তিক ব্ল্যাক-বক্স এজেন্টগুলো দীর্ঘমেয়াদি যুক্তি এবং নির্ভুলভাবে কাজ তৈরি করতে ভালো। কিন্তু নির্দিষ্ট কোনো এজেন্ট-ভিত্তিক কাজের ক্ষেত্রে পরিবেশ কীভাবে বিকশিত হয়, সে সম্পর্কে তাদের অর্জিত জ্ঞান থাকে না। ২১ অক্টোবর ২০২৬ তারিখে জমা দেওয়া arXiv:2610.29139 নিবন্ধে এই ব্যবধানের কথা বলা হয়েছে।

একটি ওয়ার্ল্ড মডেল এজেন্টকে নির্দিষ্ট পরিবেশ সম্পর্কে জ্ঞান দেয়। এজেন্ট যে কাজটি করতে যাচ্ছে, তাতে পরিবেশ কীভাবে সাড়া দেবে, তা এটি পূর্বাভাস দেয়। এমন মডেল কাজ-সম্পর্কিত তথ্য যোগ করে।

ব্যবহারিক মানদণ্ড: ওয়ার্ল্ড মডেলটি লক্ষ্য পরিবেশের সঙ্গে কতটা সম্পর্কিত, তা যাচাই করুন। সাধারণ যুক্তি-সংক্রান্ত জ্ঞান নির্দিষ্ট কাজ সম্পর্কে বোঝার এই ঘাটতি পূরণ করে না।

সংশোধনের ধরন: প্রতিটি ধাপে নয়, ঝুঁকির মুহূর্তে

LLM এজেন্টের জন্য আগের ওয়ার্ল্ড মডেলগুলো প্রধানত প্রতিটি ধাপে পরবর্তী পর্যবেক্ষণের পূর্বাভাস দেয়। এই ধরনটি ব্যয়বহুল এবং এতে তথ্যের উপযোগিতা কম। আলাদা পর্যবেক্ষণগুলো কাজ-সম্পর্কিত সীমিত দিকনির্দেশনা দেয়। প্রতিটি ধাপে আগাম পূর্বাভাসের প্রয়োজন হয় না।

একটি পাইলট গবেষণায় দেখা গেছে: সীমিত বহু-ধাপের ভবিষ্যতে ফাঁদ সম্পর্কে আগাম পূর্বাভাস দিলে ওয়ার্ল্ড মডেলের দিকনির্দেশনা সবচেয়ে বেশি কার্যকর হয়। অর্থাৎ, সংশোধন ঝুঁকির মুহূর্তে চালু হওয়া উচিত, নিরবচ্ছিন্নভাবে নয়।

ব্যবহারিক মানদণ্ড: এমন ধরন বেছে নিন, যা সম্ভাব্য ফাঁদের সময় চালু হয় এবং প্রতিটি ধাপে আগাম পূর্বাভাসে সম্পদ ব্যয় করে না।

ফাঁদ সম্পর্কে আগাম পূর্বাভাস কীভাবে কাজ করে

লেখকেরা Pitfall Anticipation World Model (PAWM) উপস্থাপন করেছেন। মডেলটি তিনটি উপাদানের মাধ্যমে কাজ করে:

• সম্ভাব্য ফাঁদ দেখা দিলে বেছে বেছে হস্তক্ষেপ করে;
• আসন্ন ব্যর্থতার পূর্বাভাস দেয়;
• ঝুঁকির মুহূর্তে এজেন্টকে ফাঁদ থেকে দূরে সরিয়ে দেয়।

ব্যবহারিক মানদণ্ড: সংশোধন চালু করার সংকেতটি সম্ভাব্য ফাঁদ এবং আসন্ন ব্যর্থতার পূর্বাভাসের ওপর ভিত্তি করে হওয়া উচিত।

মডেলের দুই-ধাপের প্রশিক্ষণ

লেখকেরা Pitfall Anticipation World Model (PAWM) দুই ধাপে প্রশিক্ষণ দেন।

1. কৃত্রিম ডেটা দিয়ে Supervised Fine-Tuning (SFT)। কৃত্রিম ডেটায় এজেন্টদের জন্য ফাঁদের লেবেল থাকে।
2. ব্ল্যাক-বক্স LLM-এর সঙ্গে GRPO co-training। এটি লক্ষ্য পরিবেশে মডেলটিকে অপ্টিমাইজ করে।

ব্যবহারিক মানদণ্ড: দুই ধাপই যাচাই করুন—ফাঁদের লেবেল এবং লক্ষ্য পরিবেশে co-training।

মূল্যায়ন: কোথায় উন্নতি দেখতে হবে

এই পদ্ধতিতে ScienceWorld-এ Claude Sonnet 4.5-এর ফল 24.3% এবং WebArena-Lite-এ 7.7% উন্নত হয়েছে।

লেখকেরা আরও জানান, মডেলটি বেশ কয়েকটি বেসলাইন পদ্ধতির চেয়ে ভালো ফল করে। ব্যবহারিক মানদণ্ড: লক্ষ্য পরিবেশে উন্নতি এবং বেসলাইন পদ্ধতিগুলোর সঙ্গে তুলনা দেখুন। এক পরিবেশের ফল অন্য পরিবেশে প্রয়োগ করা যাবে কি না, তা আলাদাভাবে যাচাই করতে হবে।