AgentBench

এজেন্টBon হচ্ছে স্বায়ত্তশাসিত এজেন্টদের ভূমিকায় বড় ভাষার মডেল (এলএমএস) পরীক্ষার জন্য ওপেন সোর্স টুল। টিশিংহুই বিশ্ববিদ্যালয়ের নির্মাতারা এটা পরীক্ষা করে দেখেছেন কিভাবে কার্যকর মডেলরা বাস্তব জগৎ নিয়ে কাজ করে।

ইতিহাস ও উৎপত্তি

টিশিংহুয়া বিশ্ববিদ্যালয়ের এক গবেষণা গ্রুপ এই প্রকল্প চালু করেছে। এর প্রধান লক্ষ্য হচ্ছে নির্মাতারা প্রমিত টেক্সট সম্প্রদায়ের পরীক্ষামূলক পরীক্ষা এবং ইন্টারঅ্যাকটিভ পরিবেশে মডেল আচরণ মূল্যায়ন করতে হবে। এটা গুরুত্বপূর্ণ কারণ আধুনিক ভাষার মডেলগুলো ক্রমশ: সহজ উত্তর জেনারেটর হিসেবে ব্যবহার করা হয় না, কিন্তু বহুমুখী কাজ করার জন্য পরিপূর্ণ উপাদান হিসেবে ব্যবহৃত হয়।

স্থানাংক পদ্ধতি

এজেন্টBoch মডেলদের আটটি ভিন্ন পরিবেশে কাজ সমাধান করতে বলেছেন। এর মধ্যে রয়েছে অপারেটিং সিস্টেম ম্যানেজমেন্ট, ডাটাবেস নিয়ে কাজ করা, জ্ঞানগত গ্রাফের সাথে যোগাযোগ করা, ডিজিটাল কার্ড গেমে অংশগ্রহণ করা এবং ধাঁধার সমাধান করা, যা এক অসাংবিধানিক চিন্তা। এ ছাড়া, বর্তমান ডাটাগুলো থেকে তিনটি পরিবেশ গঠন করা হয়েছে: ঘরের কাজ, ওয়েব কেনাকাটা এবং ওয়েব ব্রাউজিং। এই পদ্ধতি মডেলের পরিকল্পনা, সিদ্ধান্ত নেওয়া এবং ব্যবহার করার ক্ষমতার বিস্তারিত মূল্যায়নের সুযোগ করে দেয়।

( ২ বংশা. এর জন্য ফাংশনিং ফরম্যাট আর সম্পূর্ণ কন্টেইনিং প্রোগ্রাম সমর্থন করে ডকারিগের মাধ্যমে। এই উল্লেখযোগ্যভাবে এই বিষয়টি সমস্ত পরীক্ষা এনভায়রনমেন্ট চালু করার প্রক্রিয়াকে সুনিশ্চিত করে-এখন কেবল একটি কমান্ড শুরু করা প্রয়োজন।

এজেন্টBanner বৈশিষ্ট্য

এজেন্টBy র জন্য?

এজেন্টBon একটি পেশাদার যন্ত্র যা ব্যবহারকারীদের নির্দিষ্ট শ্রেণীর জন্য কার্যকর হবে।

AI এজেন্ট গবেষক ও ডেভেলপার

প্রথমত, স্বায়ত্তশাসনের এজেন্টদের কাজ করার লক্ষ্য হচ্ছে এই নির্ধারিত সময়সীমা। তারা তাদের মডেলগুলোকে মানসম্মত অবস্থায় পরীক্ষা করতে ব্যবহার করতে পারে এবং অন্যান্য অগ্রগতির সাথে তুলনা করতে পারে। একটি লাইসেন্সের অধীনে ওপেন সোর্স কোড পরীক্ষার পরিবেশ নির্দিষ্ট গবেষণা কাজের জন্য গঠন করতে দেয়।

জটিল মানের বিশ্লেষণ বিশেষজ্ঞ

যারা পেশাদারভাবে ভাষার মডেলের মান মূল্যায়ন করে তাদের জন্য এজেন্টBon একটি প্রস্তুত দৃশ্য তৈরি করেছেন। উপলব্ধ রয়েছে দুটো তথ্য — দেব - পরীক্ষা — আলাদা মডেলিং এবং চূড়ান্ত বৈধতাকে অনুমোদন করে । এটা বিশেষ করে নিরপেক্ষভাবে নির্মাণ করা এবং পুনরায় পরীক্ষা করা।

কর্মিলয়ের মধ্যে licting Interingms

ভাষার মডেল হিসেবে কাজ করাকে ( ডাটাবেস, ব্রাউজার অথবা অপারেটিং সিস্টেমের সঙ্গে কাজ করা) বিবেচনা করা হয়। এর ফলে নির্দিষ্ট নির্দিষ্ট ব্যবসার কাজের জন্য সবচেয়ে উপযুক্ত মডেল নির্বাচন করা হয় যা উৎপাদনে সাহায্য করে।

এজেন্টBঞ্চ কিভাবে ব্যবহার করতে পারি?

এজেন্টBon এর সাথে কাজ করার প্রক্রিয়া নির্ভর করে আপনি যে যন্ত্র ব্যবহার করার পরিকল্পনা করছেন তার উপর ।

পারম্পরিক সংস্করণ

এজেন্টBon এর মূল সংস্করণ দিয়ে কাজ করতে হলে, আপনাকে প্রথমে প্রতিটি আটটি পরিবেশ কনফিগার করতে হবে। ব্যবহারকারীর দ্বারা সুনির্দিষ্ট তথ্য বিশিষ্ট একটি কর্ম, সংশ্লিষ্ট তথ্য ডিসেট লোড করা হয় এবং মডেল মূল্যায়নে সঞ্চালিত হয়। এর ফলে সরকারী নেতাবোর্ড এর ডাটার সাথে তুলনা করা যাবে। এই প্রক্রিয়ার জন্য নির্দিষ্ট প্রযুক্তিগত দক্ষতা প্রয়োজন, কারণ প্রত্যেক পরিবেশের নিজস্ব কনফিগারেশন রয়েছে ।

এজেন্টByfC এবং ডকারিগ

আপডেটকৃত এজেন্টByC-এর সংস্করণ সুনির্দিষ্টভাবে বিস্তৃত হয়েছে। ডকার গোষ্ঠির মাধ্যমে কন্টেইনার তৈরির জন্য ধন্যবাদ, সকল পরীক্ষামূলক পরিবেশ একটি কমান্ড দিয়ে শুরু করা যাবে। এটি সময় সংরক্ষণ করে এবং পরিবেশ প্রস্তুতির সাথে সংশ্লিষ্ট অধিকাংশ ত্রুটি দূর করে । ব্যবহারকারী কেবলমাত্র ডকার ইনস্টল, রিপোজিটরির ক্লোন এবং সাধারণ কমান্ড চালান। এরপর সকল পরিবেশে আদর্শ পরীক্ষা করা হবে।

এ ছাড়া, আরও বিস্তৃত সংস্করণ — চিত্রকলার মডেলদের জন্য প্রাপ্তিসাধ্য । দৃশ্যমান পরিবেশে পরীক্ষার জন্য এটি ডিজাইন করা হয়েছে: রোবট নিয়ন্ত্রণ থেকে গ্রাফিক ইন্টারফেস এবং ওয়েব ডিজাইন করা হয়েছে।

কি-র বৈশিষ্ট্য

মডেল অটো-ওমি বিশ্লেষণ

এজেন্টBon এর প্রধান কাজ হচ্ছে, মানব হস্তক্ষেপ ছাড়া কাজ করা। এই মানচিত্র পরীক্ষা করে দেখা যায় যে মডেল স্বাধীনভাবে তাদের পরিবেশ বিশ্লেষণ করতে পারবে কিনা, সিদ্ধান্ত নিতে পারবে এবং চূড়ান্ত লক্ষ্যে পৌঁছানোর আগে বহুমুখী কাজ করতে পারবে কিনা।

Multiverse-এভি পরীক্ষা

আটটি ভিন্ন পরিবেশ এই মডেলকে বিভিন্ন কোণ থেকে মূল্যায়ন করতে দেয়। অপারেটিং সিস্টেমের কারিগরি দক্ষতা, ধাঁধা পরীক্ষা এবং যুক্তি পরীক্ষা, এবং ওয়েব কেনাকাটার পরীক্ষা, ইন্টারফেসের মাধ্যমে ক্ষমতা ও যোগাযোগের পরিকল্পনা করা। এই পদ্ধতি মডেলের ক্ষমতার বিস্তারিত চিত্র সরবরাহ করে।

ফাংশন কল সমর্থন

এজেন্টBych LC সংস্করণ দ্বারা ফাংশান ফরম্যাট সমর্থন করা হয়। এর মানে মডেলটি একটি কাঠামোর মাধ্যমে বাইরের ফাংশনকে একটি কাঠামোগত প্রক্রিয়া হিসেবে ব্যবহার করতে পারে, যা এলএমএমএল টুল হিসেবে ব্যবহার করে বাস্তব জগৎকে আরো কাছে নিয়ে যেতে পারে।

মাল্টিমোশন পরীক্ষা করা হচ্ছে

মডেলদের জন্য শুধু লেখাই নয় বরং ছবিও তৈরি করা হয়েছে। এর মধ্যে পরিবেশকে দৃষ্টির সঙ্গে — GUI থেকে রোবটবিদ্যা — কীভাবে মাল্টিম্যাল মডেল বুঝতে ও এর মধ্যে কীভাবে কাজ করতে হয়, সেটার মূল্যায়ন করা যায় ।

এজেন্টBindens

খোলা ও বিশেষ সহায়ক ব্যবস্থা

এজেন্টবেঞ্চ — কোড, ডাটাসেট, ফলাফল — সবার সামনে প্রকাশ পায় । সম্পূর্ণ স্বচ্ছতা অন্যান্য গবেষকদের তথ্য প্রকাশ করার সুযোগ দেয় । বিনামূল্যে বিতরণের মডেল প্রযুক্তি ব্যবহার করে যে কাউকে ব্যবহার করতে হবে।

বাস্তব পরিস্থিতি

অনেক জটিল পরীক্ষার বিপরীতে, এজেন্টBon এর সাথে বাস্তব-বিশ্ব-বিশ্ব কাজের কাছাকাছি পরিবেশ রয়েছে: সিস্টেম ব্যবস্থাপনা, কেনাকাটা, ব্রাউজিং। এতে আদর্শ গবেষণাগারের পরিস্থিতির বদলে মডেল কীভাবে কাজ করবে, তার আরো একটি উদ্দেশ্য রয়েছে।

লোভ এবং লোভ

ডকার কোয়ারেন্টার কন্টেইনার তৈরির সঙ্গে সঙ্গে এজেন্টBC মুক্তির বিষয়টা সমন্বয়সাধনের প্রধান একটা সমস্যার সমাধান করে — জটিলতার সৃষ্টি করে । এখন কম প্রযুক্তিগত জ্ঞান পরীক্ষা করার জন্য যথেষ্ট। তাছাড়া টেক্সট ভিত্তিক এবং মাল্টিম্যাল মডেল ( ভিজুয়াল ARARMBon এর মাধ্যমে) যাচাই করার ক্ষমতা এই যন্ত্রকে বহুমুখী করে তোলে।

এজেন্টBondanas নিরাশ

আরম্ভকারীgame speed

এফসি-এর সংস্করণ অনুসারে এজেন্ট বারঞ্চ ব্যবহার করে প্রযুক্তিকে বোঝা দরকার যেমন ডকার, কমান্ড লাইন আর ভাষার মডেলদের সাথে কাজ করার মৌলিক নীতি। প্রযুক্তিগত দিকহীন মানুষদের জন্য এই যন্ত্রটি মাস্টারের কাছে কঠিন হবে।

ওপেন সোর্সে সীমিত তথ্য

বর্তমানে, প্রতিটি ধাপ এবং পরীক্ষা সম্বন্ধে বর্ণনা করার ক্ষেত্রে তুলনামূলকভাবে কম বিস্তারিত তথ্য ও নির্দেশনা রয়েছে । ব্যবহারকারীদের মাঝে মাঝে একই টুলস ব্যবহার করার ক্ষেত্রে নিজেদের কোডের উপর নির্ভর করতে হয় অথবা একই নীতি প্রয়োগ করতে হয়।

সুনির্দিষ্ট অ্যাপ্লিকেশনের তালিকা

যেহেতু এজেন্টBon একটি মূল্যায়ন টুল, তার মূল্য বুঝতে পারে যখন আপনার নিজের মডেল পরীক্ষা করতে হবে. যারা API-এর মাধ্যমে তৈরি তৈরি এলএমএল ব্যবহার করে, তাদের জন্য এই প্রস্তাবনা কোন ব্যবহারিক সুবিধা প্রদান করে না।

এজেন্ট বারঞ্চ সমাধান করছেন কি?

অপটিম মডেল নির্বাচন

একটি বিশেষ ব্যবহারের জন্য সবচেয়ে উপযুক্ত মডেল হলো এজেন্টBon ঠিকানা। মূল মডেলটি নেতৃত্ব বোর্ডের তুলনা করে, একজন ডেভেলপার সিদ্ধান্ত নিতে পারেন কোন মডেলটি ভালো কাজ করবে, যেমন ডাটাবেস বা ওয়েব ইন্টারফেস।

ডেভেলপমেন্ট অগ্রগতি

গবেষণা দলগুলোর জন্য এই সীমা একটি কোঅর্ডিনেটর পদ্ধতি হিসেবে কাজ করে: এটা কিভাবে একটি মডেল প্রত্যেক নতুন নতুন এবং শনাক্তিকরণ এলাকার উন্নতি এবং চিহ্নিত করার সুযোগ করে দেয়, যার এখনও দুর্বলতার প্রয়োজন রয়েছে।

প্রমিত পরীক্ষা ব্যবস্থা

এজেন্টBard "প্রত্যেক পরীক্ষা তাদের নিজ পথে" সমস্যার সমাধান করেছে। পরিবেশ ও উপাত্তের একটি ঐক্যবদ্ধ সেট একটি সাধারণ ভিত্তির মাধ্যমে বিভিন্ন দল ও মডেল থেকে ফলাফলের তুলনা করে। বিভিন্ন দেব এবং পরীক্ষার প্রাপ্য তথ্য পরীক্ষা করতে 'অভিবাসন' এড়াতে সাহায্য করে।

এজেন্টBychinging

এজেন্টBonকে বিনামূল্যে বিতরিত করা হয় একটি মুক্ত মডেলের মাধ্যমে। এটি উভয় ক্ষেত্রে Gantuhb এবং এ কোড প্রয়োগ করা হয় ফলাফলসহ জনগণের নেতা বোর্ড। নির্ধারিত সীমা ব্যবহার করার জন্য ব্যবহারকারীদের টাকা দিতে হবে না।

তবে সম্ভাব্য পরোক্ষ খরচ বিবেচনা করা উচিত। কন্টেইনার ফরম্যাটে সমস্ত পরিবেশ চালানো হচ্ছে (দৈর্ঘ্য সংরক্ষিত) বা যথেষ্ট সম্পদের জন্য স্থানীয় হার্ডওয়্যার প্রয়োজন - CPU, মেমরি এবং ডিস্ক স্থান । তাছাড়া, যদি আপনি বাণিজ্যিক মডেল পরীক্ষা করার পরিকল্পনা করেন, তাদের API অনুরোধের খরচ এজেন্টBon দ্বারা ঢাকা নেই. কিন্তু মূল্যায়ন টুল নিজেই পুরোপুরি মুক্ত।

এজেন্টB'র জন্য ব্যবহার করা হবে

কোড লাইসেন্স

এজেন্টBobing উৎস কোড একটি উন্মুক্ত লাইসেন্সের অধীনে প্রকাশ করা হয়েছে। এর মানে হল ডেভেলপাররা স্বাধীনভাবে ব্যবহার করতে, পরিবর্তন এবং তাদের উদ্দেশ্যের কোড পরিবর্তন করতে পারেন। রিপোজিটরিতে নির্দিষ্ট নির্দিষ্ট লাইসেন্সের শর্ত মেনে চলা গুরুত্বপূর্ণ।

ফলাফলের ব্যবহার

পাবলিক লিডারবোর্ড-এ মডেল মূল্যায়নের ফলাফল প্রকাশ করা হয়েছে। যে কোন ব্যবহারকারী এই তথ্য পর্যালোচনা করতে এবং তাদের উদ্দেশ্যের — গবেষণা, প্রবন্ধ অথবা মডেল নির্বাচন করতে পারে । সাধারণত কোন বাধ্যতামূলক চাহিদা থাকে না, কিন্তু এটি মূল অভ্যাস হিসেবে বিবেচনা করা হয় যখন নেতাবোর্ড তথ্য প্রকাশনায় ব্যবহার করা হয়।

ব্যবহারিক পরামর্শ

যেহেতু এজেন্টBin একটি পরীক্ষামূলক টুল, এর ব্যবহার আপনার নিজের ভাষা মডেল বা বাণিজ্যিক মডেল আছে। এই সীমা মডেলগুলোতে প্রবেশাধিকার দেয় না — কেবল সেগুলোর মূল্যায়ন করে । এ ছাড়া, চলমান পরীক্ষাগুলোতে ডকার ইন্সটল করার জন্য একটি প্রযুক্তিগত এনভায়রনমেন্ট প্রয়োজন এবং যথেষ্ট কম্পিউটিং সম্পদ রয়েছে ।

এজেন্টBovile ক্ষমতা

কোড- এ প্রবেশযোগ্যতা

এজেন্টBob এর কোড রিপোজিটরি খোলা আছে গিহাবে. যে কেউ এই প্রকল্প ক্লোন করতে, কোড অধ্যয়ন, এবং এটি ব্যবহার করতে পারেন কা. পূ. এটা বিশ্বব্যাপী গবেষকদের কাছে তাদের ভৌগলিক অবস্থান বা আর্থিক ক্ষমতার ওপর নির্ভর করে ।

পাবলিক লিডার বোর্ড

একটি পাবলিক নেতা বোর্ডে মডেল মূল্যায়নের ফলাফল প্রকাশ করা হয়েছে। ব্যবহারকারীরা বাস্তব সময়ে চিহ্নিত করতে পারে যেখানে মডেলরা বিভিন্ন পরিবেশে সেরা ফলাফল প্রদর্শন করে। এই নেতা বোর্ড যে কারো নিবন্ধন বা টাকা ছাড়া দেখার জন্য উপলব্ধ।

আপডেট এবং ডেভেলপমেন্ট

প্রকল্পটি সক্রিয়ভাবে ভ্রম করছে: ২০২৪ সালের অক্টোবরের ২০ তারিখে এজেন্টBon FC সংস্করণ মুক্তি পেয়েছে, সাথে মাল্টিমুম্যাল মডেলের জন্য ভিজুয়ালআর্জেন্টলন্ড সংস্করণও মুক্তি পেয়েছে। এটা নির্দেশ করে যে, নির্মাতা এবং সম্প্রদায়ের প্রয়োজনের সাথে খাপ খাইয়ে নিতে সক্ষম।

কিভাবে এজেন্টBand dollos বিকল্প থেকে প্রাপ্ত

পরিবেশ পরিবেশ

অনেক বিদ্যমান ভাষার মডেলগুলোকে একটি নির্দিষ্ট ধরনের কাজের ওপর মনোযোগ কেন্দ্রীভূত করার জন্য অনেক অগ্রগতিশীল । এজেন্টBon দ্বারা অপারেটিং সিস্টেম, ডাটাবেস এবং ওয়েব ব্রাউজারসহ আটটি ভিন্ন পরিবেশ তৈরি করেছে। এই ব্যাপক কাভারেজ একটি মডেলের ক্ষমতার আরো সম্পূর্ণ চিত্র সরবরাহ করে যা খুব কম সুনির্দিষ্ট পরীক্ষাকে তুলনা করে।

স্বয়ংক্রিয়ভাবে উপর ফোকাস করা হবে

বেশিরভাগ ক্লাসিক পরিভাষায় মডেল একটি প্রশ্ন করে বা একটি মাত্র পদক্ষেপ নেয়। এজেন্ট বারঞ্চ এই মডেলটির মূল্যায়ন করেছেন বিশেষ করে স্বায়ত্তশাসিত এজেন্ট হিসাবে: পরিকল্পনা করা, ইন্টারমিডিয়াটে সিদ্ধান্ত নেওয়া আর পরিবেশ থেকে মতামতের ভিত্তিতে পদক্ষেপ নেয়া। এটা জটিলতার এক মৌলিক মাত্রা ।

শিক্ষা এবং শিক্ষা

যদিও খোলা মানচিত্রের অস্তিত্ব রয়েছে, কিন্তু এজেন্টBon এর কাঠামোর সাথে সংযুক্ত। ডকার বেয়ারক কন্টেইনারাইজেশন এবং ফাংশনিং-এর সঙ্গে FC সংস্করণ অনেক বিকল্পের তুলনায় একটি পদক্ষেপ। মাল্টিModl মডেলদের পৃথক ভিজুয়াল Adblor সংস্করণও প্রতিদ্বন্দ্বীদের থেকে এই টুলটি পৃথক করে।

অন্তর্ভুক্ত

এজেন্টBon হলেন স্বায়ত্তশাসিত এজেন্টদের ভূমিকার মধ্যে একটি পেশাদার উন্মুক্ত মানচিত্র। এফসি সংস্করণে সাহায্য করার জন্য আটটি ভিন্ন পরিবেশকে ধন্যবাদ, আর ডকার লাভের মাধ্যমে কন্টেইনিং প্রকল্প, এই টুল গবেষক আর ডেভেলপারকে একটি সুবিধাজনক আর মানসম্মত পরীক্ষামূলক প্লাটফর্মের সাথে সরবরাহ করে। জনগণের নেতা বোর্ড, কোড মুক্ত, এবং মাল্টিমুডাল মডেলের আলাদা সংস্করণ যা এজেন্ট বারঞ্চ আধুনিক ৩. এটা শুরু করার জন্য কিছু সমস্যা থাকা সত্ত্বেও, একটি মডেলের বাস্তব-বিশ্বের কাজ শেষ করার বাস্তব যোগ্যতা পরীক্ষা করার একটি নির্ভরযোগ্য উপায়।