Toollery: ফাইন-টিউনিং ছাড়াই কয়েক দশ হাজার বিকল্প থেকে LLM এজেন্টের জন্য টুল নির্বাচন
Toollery দক্ষতা ও টুলের বিবরণের ওপর ভিত্তি করে একটি সার্চ ইনডেক্স তৈরি করে এবং অনুরোধের সময় মডেলকে কেবল সীমিতসংখ্যক সম্ভাব্য প্রার্থী দেয়। কয়েক দশ হাজার ফাংশন পর্যন্ত বিস্তৃত লাইব্রেরিতে চালানো পরীক্ষায় দেখা গেছে, নির্দিষ্ট top-K বজায় রেখেও এই পদ্ধতি বাছাইয়ের মান ধরে রাখতে পারে, যদিও চূড়ান্ত ফল নির্ভর করে ব্যবহারের ধরন এবং প্রোভাইডারের ক্যাশিংয়ের ওপর।

বড় টুলের লাইব্রেরি কেন বেছে নেওয়া কঠিন করে তোলে
লাইব্রেরিতে শত শত থেকে কয়েক হাজার দক্ষতা, টুল এবং API ফাংশন জমা হয়। পুরো লাইব্রেরি prompt-এ দিলে টোকেনের সংখ্যা ও বিলম্ব বেড়ে যায়। প্রার্থীদের দীর্ঘ তালিকা LLM-এর পছন্দের ক্ষেত্রে বিভ্রান্তিকর বিকল্প যোগ করে।
দুটি প্রভাব খরচ বাড়ায়:
- টোকেনের সংখ্যা ও বিলম্ব বৃদ্ধি।
- প্রার্থীদের দীর্ঘ তালিকায় বিভ্রান্তিকর বিকল্প।
নির্বাচনের মানদণ্ড: লাইব্রেরিতে শত শত থেকে কয়েক হাজার আইটেম থাকলে, LLM-এর চূড়ান্ত সিদ্ধান্তের আগে সিস্টেম প্রার্থীদের তালিকা সংকুচিত করে কি না তা যাচাই করুন।
প্রার্থীদের তালিকা কীভাবে সংকুচিত হয়
Toollery হলো দক্ষতা ও টুল বেছে নেওয়ার সময় প্রার্থীদের তালিকা সংকুচিত করার একটি training-free framework। এই পদ্ধতিতে অতিরিক্ত প্রশিক্ষণের প্রয়োজন হয় না। এটি দক্ষতার লাইব্রেরি এবং টুলের রেজিস্ট্রি—উভয়ের সঙ্গেই কাজ করে।

LLM-এর চূড়ান্ত সিদ্ধান্তের আগেই তালিকা সংকুচিত করা হয়। পদ্ধতিটির ধাপগুলো:
- সিস্টেম প্রতিটি দক্ষতা বা টুলের স্পেসিফিকেশন নেয়।
- সেটির ভিত্তিতে ব্যবহারকারীর অভিপ্রায় প্রতিফলিত করে এমন query তৈরি করে।
- সার্চ ইনডেক্স তৈরি করে।
- ব্যবহারকারীর আসল query এলে ইনডেক্সটি top-K প্রার্থীর একটি সংক্ষিপ্ত তালিকা তৈরি করে।
- LLM এই তালিকার ভিত্তিতে চূড়ান্ত সিদ্ধান্ত নেয়।
সিস্টেমটি উচ্চ-স্তরের দক্ষতা এবং পারমাণবিক টুলকে বেছে নেওয়ার উপযোগী সক্ষমতা হিসেবে বিবেচনা করে। প্রযোজ্যতার মানদণ্ড: দক্ষতা ও টুলের স্পেসিফিকেশন থাকতে হবে। তালিকা সংকুচিত করতে অতিরিক্ত প্রশিক্ষণের প্রয়োজন হয় না।
মূল্যায়নে কী দেখা গেছে
Toollery-এর মূল্যায়নে তিনটি ডেটাসেট অন্তর্ভুক্ত:
- SkillRouter: 79K সক্ষমতা।
- BFCL-V4: 440টিরও বেশি পারমাণবিক টুল।
- গাড়ির সিস্টেমের জন্য ডেটাসেট: 3396টি query এবং 220টি টুল; ডেটাসেটটি একটি কোম্পানি সরবরাহ করেছে।
Toollery অনলাইন নির্বাচনকে top-K প্রার্থীর একটি সংক্ষিপ্ত তালিকায় সীমাবদ্ধ রাখে। সাধারণ স্পেসিফিকেশন সার্চের তুলনায় এই পদ্ধতি recall বাড়ায়।
নির্দিষ্ট top-10 বাজেটে Toollery গাড়ির সিস্টেমের ডেটাসেটে এন্ড-টু-এন্ড নির্বাচন উন্নত করে। BFCL-V4-এ পদ্ধতিটি তুলনীয় AST Accuracy বজায় রাখে।
ব্যবহারিক মানদণ্ড: নির্দিষ্ট top-K-তে recall এবং এন্ড-টু-এন্ড নির্বাচন মূল্যায়ন করুন। BFCL-V4-এ top-10-এ AST Accuracy তুলনীয় থাকে।
কোন পরিস্থিতিতে ফলাফল নির্ভরশীল
Toollery-এর লেখকেরা উল্লেখ করেন, গুণমান ও খরচের উন্নতি নির্ভর করে ওয়ার্কলোড কভারেজ এবং প্রোভাইডারের ক্যাশিংয়ের ওপর। লাইব্রেরি কোন কোন ওয়ার্কলোড কভার করে, তার ওপর উন্নতির মাত্রা নির্ভর করে। প্রোভাইডারের ক্যাশিংও বিবেচ্য শর্ত।
নির্বাচনের মানদণ্ড: নিজের ওয়ার্কলোডে প্রভাব যাচাই করুন এবং প্রোভাইডারের ক্যাশিং বিবেচনায় রাখুন।
পদ্ধতি বেছে নেওয়ার মানদণ্ড
সারণিতে Toollery যে নির্বাচনের মানদণ্ডগুলো যাচাই করে, সেগুলো সংক্ষেপে তুলে ধরা হয়েছে।
| মানদণ্ড | ব্যবহারিক প্রশ্ন |
|---|---|
| লাইব্রেরির আকার | লাইব্রেরিতে কি শত শত থেকে কয়েক হাজার দক্ষতা, টুল বা API ফাংশন রয়েছে? |
| LLM-এর আগে বাছাই | LLM-এর চূড়ান্ত সিদ্ধান্তের আগে সিস্টেম কি প্রার্থীদের একটি সংক্ষিপ্ত তালিকা তৈরি করে? |
| অতিরিক্ত প্রশিক্ষণ | পদ্ধতিটি কি অতিরিক্ত প্রশিক্ষণ ছাড়াই কাজ করে? |
| Recall | সাধারণ স্পেসিফিকেশন সার্চের তুলনায় বাছাই কি recall বাড়ায়? |
| top-K বাজেট | top-10-এ গাড়ির সিস্টেমের ডেটাসেটে পদ্ধতিটি কি এন্ড-টু-এন্ড নির্বাচন উন্নত করে? |
| ওয়ার্কলোড ও ক্যাশ | ওয়ার্কলোড কভারেজ এবং প্রোভাইডারের ক্যাশিং কি বিবেচনায় নেওয়া হয়েছে? |
নির্বাচনের মানদণ্ড হলো লাইব্রেরির আকার, recall-এর চাহিদা এবং top-K প্রার্থীর বাজেটের সমন্বয়। ওয়ার্কলোড ও ক্যাশের শর্ত আলাদাভাবে যাচাই করা হয়।
সাধারণ প্রশ্নোত্তর
বিভিন্ন উপাদান
সব উপাদান
OpenCollab: এজেন্টদের প্রোগ্রামযোগ্য সমন্বয়, নিয়ন্ত্রিত রানটাইম পরিবেশ এবং প্রোটোকল মেনে চলার মেট্রিক
ফ্রেমওয়ার্কটি এজেন্টদের পারস্পরিক ক্রিয়াকলাপের কাঠামো নির্ধারণ, পরীক্ষার জন্য একটি অভিন্ন পরিবেশ এবং ইভেন্টের বিস্তারিত ট্রেসিংকে একত্র করে; নতুন প্রবর্তিত Adherence মেট্রিকটি দেখায়, বাস্তব সম্পাদন ঘোষিত কাঠামোর সঙ্গে কতটা সামঞ্জস্যপূর্ণ। বেঞ্চমার্কে Duo কনফিগারেশন নতুন SOTA অর্জন করে, অন্যদিকে একক-এজেন্ট সংস্করণে টোকেন খরচ সবচেয়ে কম।
11 নভেম্বর 2026
ড্যাশবোর্ড বিশ্লেষণে GUI এজেন্টদের ধাপে ধাপে ডায়াগনস্টিকস: DashAct বেঞ্চমার্ক
DashAct উপস্থাপন করা হলো—মানুষের দ্বারা যাচাই করা ৩৪৮টি ট্র্যাজেক্টরির একটি বেঞ্চমার্ক, যা ইন্টারঅ্যাকটিভ প্যানেলে GUI এজেন্টদের কাজকে তিনটি ধাপ ও চারটি ভিজ্যুয়াল পরিস্থিতিতে বিশ্লেষণ করে। ফলাফলগুলোতে অ্যাকশন পূর্বাভাস এবং ভিজ্যুয়াল লক্ষ্য শনাক্তকরণে ধারাবাহিক সমস্যা, পাশাপাশি প্রাসঙ্গিক ও স্থানিক সহায়তার ওপর এজেন্টদের প্রতিক্রিয়ার নির্ভরতা দেখা যায়।
11 নভেম্বর 2026
WILSON: রোগীর প্যাথোমরফোলজিক্যাল বিশ্লেষণ ও রিপোর্ট তৈরির জন্য ম্যাগনিফিকেশন ও স্লাইড একত্রিত করা
প্রিপ্রিন্টে WILSON উপস্থাপন করা হয়েছে—একটি ভিশন-ল্যাঙ্গুয়েজ মডেল, যা শুধু একটি আলাদা “সেরা” স্লাইড নয়, বরং সম্পূর্ণ স্লাইডের ছবি এবং একই রোগীর বিভিন্ন বিবর্ধনে তোলা নমুনার সিরিজ এনকোড করে। নির্দিষ্ট কাজের জন্য অতিরিক্ত প্রশিক্ষণ ছাড়াই, উল্লেখযোগ্যভাবে কম কম্পিউটেশনাল ব্যয়ে এটি বিভিন্ন মেট্রিকে বিশেষায়িত ও আরও বড় স্লাইড-মডেলগুলোকে ছাড়িয়ে যায়; পাশাপাশি, এর রোগনির্ণয়মূলক বর্ণনাগুলো প্যাথলজিস্টদের কাছ থেকে বেশি নম্বর পেয়েছে।
11 নভেম্বর 2026