37 বস্তু
একটি নতুন বেঞ্চমার্ক ইংরেজি এবং আরবি ভাষায় ১০০টি প্রশ্ন-উত্তর পরিস্থিতি প্রস্তাব করে, যা অপারেটরের প্রকৃত ডেটার চারপাশে নির্মিত: ওয়েবসাইট, SQL ডেটাবেস এবং ওয়েব আর্কাইভ। ১২টি মডেলে পরীক্ষা করে দেখা গেছে যে সেরা মডেলটিও মাত্র ৭১% কাজ সমাধান করতে পারে, এবং ভিজ্যুয়াল বিভাগগুলিতে ফলাফল ৩০% এর নিচে নেমে যায়।
গবেষকরা একটি পদ্ধতি প্রস্তাব করেছেন যা মডেলগুলিকে জ্ঞানের পরিমাণ বা বাস্তবতা থেকে বিচ্ছিন্নভাবে নয়, বরং এমন কাজের মাধ্যমে মূল্যায়ন করে যার জন্য একই সাথে যুক্তি, প্রসঙ্গ নিয়ন্ত্রণ এবং সীমাবদ্ধতার সাথে কাজ করা প্রয়োজন। বেঞ্চমার্কে ৮২০টি মৌলিক কাজ অন্তর্ভুক্ত ছিল এবং এর লেখকরা "চিন্তাভাবনা" সেটিংস এবং মডেলের অন্যান্য প্যারামিটার ফলাফলকে কীভাবে প্রভাবিত করে তাও অধ্যয়ন করেছেন।
গবেষকরা বৃহৎ ভাষা মডেলগুলির নিরাপত্তায় একটি গুরুতর আন্তঃভাষিক ভারসাম্যহীনতা চিহ্নিত করেছেন: তাদের অ্যালাইনমেন্ট মূলত ইংরেজির উপর কেন্দ্রীভূত, তাই অন্যান্য ভাষায় মডেলগুলি সীমাবদ্ধতা অতিক্রম করা এবং ক্ষতিকারক পক্ষপাত পুনরুৎপাদন করা সহজতর। নতুন INCLUDE বেঞ্চমার্ক, যা দশটি মডেল এবং ছয়টি ভারতীয় ভাষায় পরীক্ষা করা হয়েছে, দেখিয়েছে যে পক্ষপাতের মাত্রা ভাষা এবং মডেলের ধরনের উপর নির্ভর করে উল্লেখযোগ্যভাবে ভিন্ন।
লেখকরা একটি সিদ্ধান্ত সমর্থন সিস্টেমের প্রোটোটাইপ প্রস্তাব করেছেন যা ফ্লাইট লগ থেকে ছয়টি সূচক বিশ্লেষণ করে এবং সেগুলিকে প্রপেলারের অবস্থার একটি রূপান্তরমূলক সূচকে রূপান্তরিত করে। DronePropA ডেটার উপর একটি পূর্ববর্তী পরীক্ষায়, সিস্টেমটি সঠিকভাবে একটি সুস্থ ক্ষেত্রেকে তিনটি ত্রুটির স্তর থেকে আলাদা করেছে এবং কখন পরিদর্শন বা রক্ষণাবেক্ষণের প্রয়োজন তা নির্দেশ করেছে।
স্ট্রাইপের প্রধান মার্কেটিং কর্মকর্তা এই চুক্তিকে সিঙ্গুলারিটির দিকে একটি পদক্ষেপ বলে অভিহিত করেছেন, তবে প্রকৃত উদ্দেশ্য অনেক বেশি বাস্তবসম্মত: মডেল রাউটারের মাধ্যমে কোম্পানিটি ডেভেলপারদের এআই বাজেট এবং অর্থপ্রবাহের একটি নতুন কেন্দ্রে প্রবেশাধিকার পাচ্ছে।
লেখক উন্মুক্ত ওজন মডেলের জন্য একটি থ্রেশহোল্ড-মুক্ত অডিট প্রস্তাব করেছেন, যা আর্টিফ্যাক্টের মধ্যে থাকা দুটি পরিপূরক সংকেতের উপর ভিত্তি করে। ২৭৩টি চেকপয়েন্টে পরীক্ষায় পদ্ধতিটি AUROC ০.৯৫ অর্জন করে, তবে এটি একটি ট্রায়াজ হিসেবে রয়ে গেছে, ইচ্ছাকৃতভাবে বাইপাস করার বিরুদ্ধে সুরক্ষা নয়।
গবেষকরা প্রকৃত Python প্রকল্প থেকে ১১ হাজারেরও বেশি property-based টেস্ট সংগ্রহ করেছেন এবং সেগুলোকে স্বয়ংক্রিয়ভাবে হাজার হাজার আনুষ্ঠানিক Lean 4 স্পেসিফিকেশনে রূপান্তর করেছেন। ফলস্বরূপ উন্মুক্ত বেঞ্চমার্কটি মূল্যায়ন করতে সাহায্য করে যে মডেল এবং এজেন্টরা বাস্তব কোড যাচাইয়ে কতটা ভালোভাবে সক্ষম।
ফ্লাইট অ্যাটেন্ডেন্টদের ইউনিয়ন এবং মানবাধিকার কর্মীরা একটি চুক্তি নিয়ে উদ্বিগ্ন, যার মাধ্যমে Google নিলামে Spirit Airlines-এর বিশাল কর্মচারী নথির ভাণ্ডার কিনেছে — বেতনের তথ্য থেকে কর্পোরেট চিঠিপত্র পর্যন্ত। তারা আশঙ্কা করছে যে, কৃত্রিম বুদ্ধিমত্তা প্রশিক্ষণের জন্য ডেটা ব্যবহার করার সময় ডি-আইডেন্টিফিকেশন কর্মীদের ব্যক্তিগত তথ্য পুনরায় প্রকাশ থেকে রক্ষা করবে না।
বিজ্ঞান তথ্য বিশ্লেষণে LLM-এজেন্টগুলোর স্বায়ত্তশাসন বাড়ার সাথে সাথে, মানক ইন্টারফেসগুলো সিস্টেমের যুক্তি প্রক্রিয়া এবং সময়মতো হস্তক্ষেপের সুযোগ স্পষ্টভাবে দেখায় না। AdaLens বিশ্লেষণ প্রক্রিয়াটিকে একটি গল্পের ধারাবাহিকতার মতো দৃশ্যমান করে: পরিকল্পনা, অগ্রগতি এবং মধ্যবর্তী ফলাফল দেখা যায়, এবং বিশ্লেষক কাজের গতিপথ পুনর্নির্দেশ করতে পারেন।
