চিকিৎসাবিষয়ক LLM-গুলো নির্দেশিকা সংশোধনের কথা জানে, কিন্তু প্রায়ই পুরোনো নিয়ম অনুযায়ী উত্তর দেয়
1709টি ক্লিনিক্যাল নির্দেশিকার পরিবর্তন নিয়ে ChronoEvo-এর গবেষণায় দেখা গেছে: মূল মডেলে 90,8% উত্তর নতুনত্বটি শনাক্ত করেছিল, তবে মাত্র 58,5% তা সম্পূর্ণভাবে প্রয়োগ করেছিল; 32,3 শতাংশ পয়েন্টের এই ব্যবধান 14টি মডেলেই বজায় ছিল। আপডেটগুলোর দৃশ্যমানতা বাড়িয়েও নতুন নিয়মগুলো ক্লিনিক্যাল নির্দেশিকায় সম্পূর্ণভাবে অন্তর্ভুক্ত করার ক্ষেত্রে উল্লেখযোগ্য উন্নতি হয়নি।
পরীক্ষার সেটটি ঠিক কী পরিমাপ করে
গবেষণায় মূল্যায়ন করা হয়েছে, চিকিৎসাবিষয়ক বড় ভাষা মডেলগুলো চিকিৎসা-সংক্রান্ত সুপারিশের পরিবর্তন কতটা আত্মস্থ করে। লেখকেরা ChronoEvo উপস্থাপন করেছেন—স্বতন্ত্র সুপারিশের স্তরে ১,৭০৯টি সুপারিশ-পরিবর্তনের একটি সেট।
এই সেটে চিকিৎসাবিষয়ক জ্ঞান পরিবর্তনের ১২টি ধরন অন্তর্ভুক্ত রয়েছে। এটি হালনাগাদ সুপারিশ শনাক্ত করা এবং মডেলের ক্লিনিক্যাল পরামর্শে সেগুলো অন্তর্ভুক্ত করার মধ্যে পার্থক্য করে।
মূল্যায়নের মানদণ্ড: হালনাগাদ শনাক্ত করা এবং উত্তরে তা অন্তর্ভুক্ত করার মধ্যে পার্থক্য।
শনাক্তকরণ ও অন্তর্ভুক্তির মধ্যকার ব্যবধান
মূল মডেলে ৯০.৮% উত্তরে পরিবর্তনগুলো শনাক্ত করা হয়েছিল। ৮০.২% উত্তর ছিল ক্লিনিক্যালি সঠিক। ৫৮.৫% উত্তরে হালনাগাদ সুপারিশগুলো পুরোপুরি অন্তর্ভুক্ত করা হয়েছিল। শনাক্তকরণ ও অন্তর্ভুক্তির মধ্যকার ব্যবধান ছিল ৩২.৩ শতাংশ পয়েন্ট।
| পরিমাপক | মান |
|---|---|
| যেসব উত্তরে পরিবর্তন শনাক্ত করা হয়েছে | ৯০.৮% |
| ক্লিনিক্যালি সঠিক উত্তর | ৮০.২% |
| যেসব উত্তরে হালনাগাদ সুপারিশ পুরোপুরি অন্তর্ভুক্ত করা হয়েছে | ৫৮.৫% |
| শনাক্তকরণ ও অন্তর্ভুক্তির মধ্যকার ব্যবধান | ৩২.৩ শতাংশ পয়েন্ট |
ক্লিনিক্যাল সঠিকতা হালনাগাদ পুরোপুরি অন্তর্ভুক্ত হওয়ার নিশ্চয়তা দেয় না। মূল্যায়নের মানদণ্ড: শুধু শনাক্তকরণ নয়, হালনাগাদ পুরোপুরি অন্তর্ভুক্ত করার হার।
ব্যবধানটি কতটা স্থিতিশীল
১৪টি মডেলেই এই অমিল বজায় ছিল। দুইজন চিকিৎসক ৩০০টি উত্তর পর্যালোচনা করেছেন। তাঁরা ব্যবধানটি নিশ্চিত করেছেন: যাচাই-নমুনায় এর পরিমাণ ছিল ৪০.৩ শতাংশ পয়েন্ট।
বিভিন্ন মডেলে এবং স্বাধীন পর্যালোচনাতেও ব্যবধানটি পুনরাবৃত্ত হয়েছে। মূল্যায়নের মানদণ্ড: একাধিক মডেলে এবং চিকিৎসকদের অংশগ্রহণে ব্যবধানটির স্থিতিশীলতা।
কোন পরিবর্তনগুলো সামলানো কঠিন
সুপারিশের শক্তি এবং রোগীর যোগ্যতার মানদণ্ডে পরিবর্তনের সঙ্গে পুরোনো সুপারিশ ধরে রাখার সম্পর্ক রয়েছে। উত্তর যাচাই করার সময় এই দুই ধরনের পরিবর্তনের প্রতি আলাদা মনোযোগ দেওয়া প্রয়োজন।
যাচাইয়ের মানদণ্ড: সেটে সুপারিশের শক্তি এবং রোগীর যোগ্যতার মানদণ্ডে পরিবর্তন থাকা।
হালনাগাদের দৃশ্যমানতা কী কাজে আসে
একটি হস্তক্ষেপ হালনাগাদগুলোকে আরও দৃশ্যমান করে তুলেছিল। এতে পুরোনো বিষয়বস্তু ধরে রাখা কমেছে এবং ক্লিনিক্যাল সঠিকতা বেড়েছে। তবে হালনাগাদ সুপারিশ পুরোপুরি অন্তর্ভুক্ত করার ক্ষেত্রে পরিসংখ্যানগতভাবে তাৎপর্যপূর্ণ উন্নতি হয়নি।
হালনাগাদ দৃশ্যমান করলে সঠিকতা বাড়ে, কিন্তু সম্পূর্ণ অন্তর্ভুক্তির সমস্যার সমাধান হয় না। ফলাফল থেকে বোঝা যায়, পরিবর্তনশীল চিকিৎসাবিষয়ক জ্ঞান নির্ভরযোগ্যভাবে অন্তর্ভুক্ত করা ক্লিনিক্যাল বড় ভাষা মডেলগুলোর জন্য এখনো একটি স্বতন্ত্র সমস্যা। এদিকে, হালনাগাদ সুপারিশের তথ্য পাওয়া যাচ্ছে।
যাচাইয়ের মানদণ্ড: হালনাগাদ-সংক্রান্ত প্রম্পট সুপারিশ পুরোপুরি অন্তর্ভুক্ত করায় কী প্রভাব ফেলে।
সাধারণ প্রশ্নোত্তর
বিভিন্ন উপাদান
সব উপাদান
সীমাবদ্ধ LLM-এ এজেন্টদের জন্য বিশ্ব মডেল: ঝুঁকির মুহূর্তে সংশোধন
PAWM প্রস্তাব করা হয়েছে—একটি বাহ্যিক পূর্বাভাসদাতা, যা ধাপে ধাপে পর্যবেক্ষণের পুনরাবৃত্তি না করে সম্ভাব্য ব্যর্থতার সময় সক্রিয় হয় এবং এজেন্টকে ভুল পদক্ষেপ থেকে সরিয়ে দেয়। সিন্থেটিক পরিস্থিতিতে SFT এবং GRPO-সহ-প্রশিক্ষণের পর, Claude Sonnet 4.5-এর জন্য পদ্ধতিটি ScienceWorld-এ 24,3% এবং WebArena-Lite-এ 7,7% উন্নতি এনেছে।
4 নভেম্বর 2026
SpeechLLM-এর ওপর শ্রেণিবিন্যাসের অতিরিক্ত স্তর: আবেগ শনাক্তকরণে কোথায় এটি লেবেল তৈরির পদ্ধতিকে ছাড়িয়ে যায়
IEMOCAP ও MELD ডেটাসেটে কমপ্যাক্ট SpeechLLM-এর লুকানো উপস্থাপনার ওপর জেনারেটিভ আবেগ-লেবেল পূর্বাভাস এবং লিনিয়ার ক্লাসিফায়ারের তুলনা করা হয়েছে। ক্লাসিফায়ার থেকে প্রাপ্ত মানের উন্নতি সর্বজনীন নয়: এটি কর্পাসের ওপর এবং রেফারেন্স ট্রান্সক্রিপ্ট নাকি ASR-এর ফলাফল ব্যবহার করা হচ্ছে, তার ওপর নির্ভর করে।
4 নভেম্বর 2026
ব্যক্তিগত স্কোর থেকে অনুমোদিত সেটে: DDI সীমাবদ্ধতার অধীনে গ্লোবাল ডিকোডিং
নিবন্ধটি MIMIC-III-তে FLAME-এর নির্দিষ্ট স্কোর ব্যবহার করে mixed-integer linear programming-এর মাধ্যমে বাস্তবায়িত সামঞ্জস্যপূর্ণ ওষুধের সেটের নির্ভুল বৈশ্বিক নির্বাচনকে DDI সংঘাত স্থানীয়ভাবে দূর করার কয়েকটি পদ্ধতির সঙ্গে তুলনা করেছে। পরীক্ষামূলক নমুনায় বৈশ্বিক পদ্ধতিটি Jaccard স্কোরে সামান্য হলেও ধারাবাহিক উন্নতি দেখায়, যা সীমাবদ্ধতা আরও কঠোর হলে বাড়ে এবং সবচেয়ে শক্তিশালী স্থানীয় বেসলাইন পদ্ধতির তুলনায় +0.0064-এ পৌঁছায়।
4 নভেম্বর 2026