মেনু উপলভ্য কাজগুলো সীমিত করে
টুল মেনু হলো উপলভ্য কাজগুলোর একটি সংক্ষিপ্ত, সুশৃঙ্খল উপসেট, যা কোনো কাজ সম্পাদনের আগে এজেন্ট পায়। এজেন্ট কেবল এই মেনুতে থাকা টুলগুলোই ব্যবহার করতে পারে।
এর অর্থ, মেনুর গঠন ও ক্রম এজেন্ট কাজটি সম্পন্ন করতে পারবে কি না, তা প্রভাবিত করে। ব্যবহারিক মানদণ্ড হলো: শুধু প্রয়োজনীয় কাজটি আছে কি না তা নয়, বরং সেটির জন্য ডেটা প্রস্তুত করে এমন টুলগুলোও উপলভ্য কি না, তা যাচাই করা।
প্রাসঙ্গিকতা কেন কাজ সম্পন্নের নিশ্চয়তা দেয় না
একটি বহু-ধাপের কাজের জন্য চূড়ান্ত কাজটি এবং তার পূর্বশর্ত টুলগুলো প্রয়োজন। উপযুক্ত ক্রমে সেগুলোকে প্রয়োজনীয় ইনপুট তৈরি করতে হবে।
অনুরোধের সঙ্গে প্রাসঙ্গিকতার ভিত্তিতে র্যাঙ্কিং করলে চূড়ান্ত কাজটি খুঁজে পাওয়া যেতে পারে, কিন্তু তুলনামূলকভাবে কম স্পষ্ট ডেটা-উৎপাদক টুলগুলো বাদ পড়তে পারে বা সেগুলোকে পরে রাখা হতে পারে। নির্বাচনের মানদণ্ড: টুলগুলো অনুরোধের সঙ্গে কতটা মেলে, তা শুধু নয়—কার্যকর করা যায় এমন সম্পূর্ণ চেইন কতটা আছে, তার ভিত্তিতে মেনু মূল্যায়ন করুন।
| পদ্ধতি | কী বিবেচনা করে | ঝুঁকি |
|---|---|---|
| প্রাসঙ্গিকতার ভিত্তিতে র্যাঙ্কিং | অনুরোধের সঙ্গে টুলের সম্পর্ক | প্রয়োজনীয় ডেটার উৎপাদকগুলো অনুপস্থিত থাকতে পারে বা পরে থাকতে পারে |
| স্টেট-পাথভিত্তিক নির্বাচন | ট্রানজিশনগুলো কার্যকর করা যায় কি না এবং নির্ভরতার ক্রম | মেনুতে স্টেট এবং ইনপুট-আউটপুটের সম্পর্ক বিবেচনা করতে হবে |
স্টেট-পাথভিত্তিক মেনু কীভাবে তৈরি হয়
স্টেট-পাথ হলো অনুরোধের পর্যবেক্ষণযোগ্য অবস্থা থেকে কাঙ্ক্ষিত ফলাফল পর্যন্ত একটি পথ। লেখকদের প্রস্তাবিত State-Path Tool Menu এই পথটি কার্যকর করা যায় কি না, তা বিবেচনায় নিয়ে মেনু তৈরি করে।
এই প্রক্রিয়ায় কয়েকটি ধাপ রয়েছে:
- এনকোডার বর্তমান অবস্থা থেকে উপলভ্য টুলগুলো বিবেচনা করে।
- এটি টুলগুলোর আউটপুটকে পরবর্তী কাজগুলোর ইনপুটের সঙ্গে সংযুক্ত করে।
- প্রশিক্ষণ-পথগুলোতে বারবার দেখা যায় এমন কাজের ক্রম বিবেচনা করে।
- অনুসন্ধানের মাধ্যমে একটি প্রাথমিক কার্যকরযোগ্য টুল, অনুপস্থিত ডেটার উৎপাদকগুলো এবং চূড়ান্ত কাজটি নির্বাচন করা হয়।
- পুনঃর্যাঙ্কিংয়ে উৎপাদকগুলোকে ভোক্তাদের আগে রাখা হয়।
ব্যবহারিক মানদণ্ড হলো: নির্বাচিত মেনুতে প্রাথমিক কাজ, প্রয়োজনীয় উৎপাদক টুলগুলো এবং চূড়ান্ত কাজটি কার্যকরযোগ্য ক্রমে আছে কি না, তা যাচাই করা।
ToolBench-এ ফলাফল কী দেখায়
লেখকদের তথ্য অনুযায়ী, ToolBench-এ প্রস্তাবিত মেনু অনলাইন সম্পাদনের সাফল্য 0.737 থেকে বাড়িয়ে 0.898 করেছে। এজেন্টে কোনো পরিবর্তন না করেই এটি অনুসন্ধান, পুনঃর্যাঙ্কিং, জেনারেশন এবং রাউটিংয়ের বেসলাইন পদ্ধতিগুলোকেও ছাড়িয়ে গেছে।
State-Path মেনুতে 32টি টুল ব্যবহার করে 128টি টুলের সরকারি তালিকার চেয়ে বেশি সম্পূর্ণ চেইন অন্তর্ভুক্ত ছিল। বিভিন্ন ক্ষমতার মডেলসহ এক্সিকিউটর পরিবারের ক্ষেত্রেও সাফল্যের এই বৃদ্ধি বজায় ছিল।
এই ফলাফলগুলো ToolBench-এ লেখকদের মূল্যায়নের ক্ষেত্রে প্রযোজ্য। ব্যাখ্যার মানদণ্ড: শুধু মেনুর আকারকে ফলাফলের কারণ না ধরে, অনলাইন সম্পাদনের সাফল্য এবং সম্পূর্ণ চেইনের কভারেজের ভিত্তিতে পদ্ধতিগুলোর তুলনা করুন।
মেনু তৈরির পদ্ধতি কীভাবে বেছে নেবেন
কাজগুলোর মধ্যে নির্ভরতা থাকলে শুধু প্রাসঙ্গিক টুল খোঁজা যথেষ্ট নয়। মেনুতে অনুপস্থিত ইনপুট তৈরি করে এমন টুলগুলো অন্তর্ভুক্ত করতে হবে এবং সেগুলোকে ভোক্তা কাজগুলোর আগে রাখতে হবে।
পদ্ধতিগুলোর তুলনা করার সময় তিনটি বৈশিষ্ট্য যাচাই করুন:
- কার্যকরযোগ্যতা: বর্তমান অবস্থা থেকে কি প্রাথমিক কাজটি করা যায়?
- পূর্ণতা: উৎপাদক টুলগুলো এবং চূড়ান্ত কাজটি কি অন্তর্ভুক্ত আছে?
- ক্রম: উৎপাদকগুলো কি ভোক্তাদের আগে আছে?
ফলাফল মূল্যায়নে অনলাইন সম্পাদনের সাফল্য এবং সম্পূর্ণ চেইনের কভারেজ ব্যবহার করুন। এই মানদণ্ডে শুধু টুলগুলো অনুরোধের সঙ্গে কতটা মানানসই, তা নয়, এজেন্ট ফলাফল পর্যন্ত পৌঁছানোর পথটি অতিক্রম করতে পারে কি না, তাও প্রতিফলিত হয়।
সূত্র
“The Menu Is an Execution Prior: State-Path Tool Menus for Online Agents” শীর্ষক প্রবন্ধ, arXiv:2609.09395। লেখকদের তথ্য অনুযায়ী, প্রবন্ধটি EMNLP 2026 Main-এ গৃহীত হয়েছে; জমা দেওয়ার ঘোষিত তারিখ 8 সেপ্টেম্বর 2026।
