मेडिकल LLMs दिशानिर्देशों में संशोधन के बारे में जान लेते हैं, लेकिन अक्सर पुराने नियमों के अनुसार जवाब देते हैं
1709 नैदानिक दिशानिर्देशों में हुए बदलावों पर ChronoEvo के अध्ययन से पता चलता है: मुख्य मॉडल में 90,8% उत्तरों ने नए बदलाव को दर्ज किया, लेकिन केवल 58,5% ने उसे पूरी तरह लागू किया; 32,3 प्रतिशत अंकों का यह अंतर 14 मॉडलों में बना रहा। अपडेट को अधिक प्रमुखता देने से भी नए नियमों को नैदानिक दिशानिर्देश में पूरी तरह शामिल करने में कोई महत्वपूर्ण बढ़ोतरी नहीं हुई।
परीक्षणों का यह सेट वास्तव में क्या मापता है
यह अध्ययन आकलन करता है कि चिकित्सा के बड़े भाषा मॉडल चिकित्सा संबंधी दिशानिर्देशों में हुए बदलावों को किस हद तक आत्मसात करते हैं। लेखकों ने ChronoEvo प्रस्तुत किया—व्यक्तिगत सिफारिशों के स्तर पर दिशानिर्देशों में हुए 1 709 बदलावों का एक सेट।
यह सेट चिकित्सा संबंधी ज्ञान में बदलाव के 12 रूपों को शामिल करता है। यह अद्यतन सिफारिशों को पहचानने और उन्हें मॉडल की नैदानिक सलाह में शामिल करने के बीच अंतर करता है।
मूल्यांकन मानदंड: अपडेट को पहचानने और जवाब में उसे शामिल करने के बीच का अंतर।
पहचानने और शामिल करने के बीच का अंतर
मुख्य मॉडल में, 90,8% जवाबों ने बदलावों को पहचाना। 80,2% जवाब चिकित्सकीय रूप से सही थे। 58,5% जवाबों में अद्यतन सिफारिशें पूरी तरह शामिल थीं। पहचानने और शामिल करने के बीच का अंतर 32,3 प्रतिशत अंक था।
| मापदंड | मान |
|---|---|
| बदलावों को पहचानने वाले जवाब | 90,8% |
| चिकित्सकीय रूप से सही जवाब | 80,2% |
| अद्यतन सिफारिशों को पूरी तरह शामिल करने वाले जवाब | 58,5% |
| पहचानने और शामिल करने के बीच का अंतर | 32,3 प्रतिशत अंक |
नैदानिक शुद्धता से यह सुनिश्चित नहीं होता कि अपडेट पूरी तरह शामिल किया गया है। मूल्यांकन मानदंड: केवल पहचानना नहीं, बल्कि अपडेट को पूरी तरह शामिल करने का अनुपात।
यह अंतर कितना स्थिर है
14 मॉडलों में यह अंतर बना रहा। दो चिकित्सकों ने 300 जवाबों की समीक्षा की। उन्होंने इस अंतर की पुष्टि की: सत्यापन नमूने में यह 40,3 प्रतिशत अंक था।
यह अंतर अलग-अलग मॉडलों में और स्वतंत्र समीक्षा के दौरान भी दोहराया गया। मूल्यांकन मानदंड: कई मॉडलों में और चिकित्सकों की भागीदारी के साथ इस अंतर का स्थिर बने रहना।
किन बदलावों को अपनाना अधिक कठिन है
सिफारिश की मज़बूती और रोगी की पात्रता के मानदंडों में बदलाव, पुरानी सिफारिशों के बने रहने से जुड़े हैं। जवाबों की जाँच करते समय इन दोनों प्रकार के बदलावों पर अलग से ध्यान देना आवश्यक है।
जाँच मानदंड: सेट में सिफारिश की मज़बूती और रोगी की पात्रता के मानदंडों में बदलाव शामिल होना।
अपडेट को अधिक प्रमुखता देने से क्या हासिल होता है
हस्तक्षेप ने अपडेट को अधिक प्रमुखता दी। इससे पुरानी सामग्री का बने रहना कम हुआ और नैदानिक शुद्धता बढ़ी। लेकिन इससे अद्यतन सिफारिशों को पूरी तरह शामिल करने में सांख्यिकीय रूप से महत्वपूर्ण सुधार नहीं हुआ।
अपडेट को अधिक प्रमुखता देने से शुद्धता में मदद मिलती है, लेकिन सिफारिशों को शामिल करने की समस्या पूरी तरह हल नहीं होती। परिणाम बताते हैं कि बदलते चिकित्सा ज्ञान को विश्वसनीय रूप से शामिल करना, नैदानिक बड़े भाषा मॉडलों के लिए अब भी एक अलग चुनौती है। इस बीच, सिफारिशों के अद्यतन डेटा उपलब्ध हैं।
जाँच मानदंड: अपडेट के संकेत का सिफारिशों को पूरी तरह शामिल करने पर प्रभाव।
अक्सर पूछे जाने वाले प्रश्न
समान सामग्री
सभी सामग्री
बंद-स्रोत LLMs पर एजेंटों के लिए विश्व मॉडल: जोखिम-बिंदुओं पर सुधार
PAWM प्रस्तावित किया गया है—एक बाहरी प्रेडिक्टर, जो चरण-दर-चरण अवलोकन को दोहराता नहीं, बल्कि संभावित विफलता के समय सक्रिय होकर एजेंट को गलत कार्रवाई से दूर ले जाता है। सिंथेटिक परिदृश्यों पर SFT और GRPO के साथ सह-प्रशिक्षण के बाद, इस विधि ने Claude Sonnet 4.5 के लिए ScienceWorld में 24,3% और WebArena-Lite में 7,7% का सुधार दिया।
4 नवम्बर 2026
SpeechLLM पर वर्गीकरण परत: भावनाओं की पहचान में यह लेबल जनरेशन को कहाँ दरकिनार करती है
IEMOCAP और MELD के डेटा पर, भावनात्मक लेबल के जनरेटिव आउटपुट की तुलना कॉम्पैक्ट SpeechLLM के छिपे हुए निरूपणों पर आधारित एक रैखिक वर्गीकारक से की गई। वर्गीकारक से गुणवत्ता में होने वाला सुधार सार्वभौमिक नहीं है: यह कॉर्पस पर और इस बात पर निर्भर करता है कि संदर्भ ट्रांसक्रिप्ट का उपयोग किया गया है या ASR के परिणामों का।
4 नवम्बर 2026
व्यक्तिगत आकलनों से अनुमेय समुच्चयों तक: DDI प्रतिबंधों के अंतर्गत वैश्विक डिकोडिंग
यह लेख MIMIC-III पर FLAME के निश्चित स्कोर के साथ, mixed-integer linear programming के ज़रिए लागू किए गए संगत दवाओं के सेट के सटीक वैश्विक चयन की तुलना DDI टकरावों को स्थानीय स्तर पर दूर करने की कई योजनाओं से करता है। परीक्षण नमूने पर वैश्विक विकल्प Jaccard के आधार पर थोड़ा, लेकिन लगातार बेहतर प्रदर्शन करता है; प्रतिबंध कड़े होने पर यह बढ़त और अधिक हो जाती है और सबसे मज़बूत स्थानीय आधारभूत विधि की तुलना में +0.0064 तक पहुँच जाती है।
4 नवम्बर 2026