एलएलएम पॉइंट-प्रॉम्प्टिंग उन छिपे हुए मेडिकल डेटा को कैसे खोजती है जिन्हें मानक डी-आइडेंटिफिकेशन सिस्टम अनदेखा कर देते हैं

मानक डी-आइडेंटिफ़ायर "स्थानीय" डेटा को क्यों छोड़ देते हैं

मेडिकल रिकॉर्ड की स्वचालित डी-आइडेंटिफिकेशन प्रणालियाँ आमतौर पर संरक्षित जानकारी के सामान्य प्रकारों — नाम, जन्म तिथियाँ, बीमा नंबर — को अच्छी तरह संभाल लेती हैं। लेकिन असली अस्पताल में ऐसा डेटा मिलता है जो केवल उसी संगठन के भीतर संवेदनशील होता है। इसमें क्लीनिकों के संक्षिप्त नाम, भवनों के नाम, विभागों के आंतरिक कोड शामिल हैं। इंसान के लिए ऐसी स्ट्रिंग्स स्पष्ट रूप से उपचार के स्थान का संकेत देती हैं, लेकिन एक सार्वभौमिक एल्गोरिद्म सभी स्थानीय पदनामों को नहीं जान सकता।

पारंपरिक समाधान या तो शब्दकोशों पर निर्भर करते हैं, या निश्चित श्रेणियों वाले प्रशिक्षित मॉडल पर। दोनों ही उन चीज़ों को छोड़ देते हैं जो उनके संदर्भ-सूचियों में नहीं होतीं। शोधकर्ता इसे "संस्थागत रूप से स्थानीयकृत" PHI कहते हैं, और यहीं पर गंभीर लीक के जोखिम उत्पन्न होते हैं।

LLM अंतर को कैसे पाट पाता है

यह जाँचने के लिए कि क्या in-context learning वाले बड़े भाषा मॉडल इस समस्या को हल कर सकते हैं, प्रयोग के लेखकों ने बाल चिकित्सा ऑन्कोलॉजी के 100 लेबल किए गए नोट्स लिए — कुल पाँच हज़ार से अधिक PHI खंड — और फिर आठ LLM की तुलना दो विशेष प्रणालियों (Stanford TiDE और OpenMed PII) और दो पैटर्न-बेसलाइन से की।

परिणाम LLM के पक्ष में रहा: सर्वश्रेष्ठ मॉडल ने F1 = 0.918 ± 0.001 हासिल किया, जबकि सर्वश्रेष्ठ विशेष प्रणाली TiDE ने केवल 0.779 दिखाया। संदर्भ-निर्भर श्रेणियों — वही स्थानीय पदनाम जो आमतौर पर एल्गोरिद्म की नज़र से बाहर रहते हैं — पर लाभ विशेष रूप से ध्यान देने योग्य था।

प्रॉम्प्ट के तीन स्तर: HIPAA से सटीक ट्यूनिंग तक

मुख्य तरकीब — केवल अनुरोध नहीं, बल्कि विशिष्ट संस्थान के अनुसार प्रॉम्प्ट का लक्षित समायोजन। प्रयोग में तीन विकल्प उपयोग किए गए:

• बेसिक प्रॉम्प्ट — HIPAA मानक के अनुसार सामान्य निर्देश।
• स्थानीय श्रेणियों वाला प्रॉम्प्ट — संस्थागत PHI प्रकारों की सूची जोड़ी जाती है, जिन्हें मानक ध्यान में नहीं रखता।
• अत्यधिक संपादन से सुरक्षा वाला प्रॉम्प्ट — अतिरिक्त निर्देश कि अनावश्यक नैदानिक सामग्री को न काटा जाए।

छूटी हुई श्रेणियों की सूची बनाने से पहले न मिले 61 खंडों में से 79% (48 टुकड़े) पुनर्प्राप्त हुए। और अत्यधिक संपादन के विरुद्ध निर्देश ने सटीकता लौटा दी, जो मॉडल के "अति-सतर्कता" के कारण प्रभावित हुई थी।

एजेंट और एन्सेम्बल ने कोई लाभ नहीं दिया

कोई सोच सकता है कि कई मॉडल चलाने या मल्टी-एजेंट योजना से और भी बेहतर परिणाम मिलेगा। लेखकों ने ऐसी 14 कॉन्फ़िगरेशन जाँचीं और उनकी तुलना सर्वश्रेष्ठ एकल प्रॉम्प्ट से की। पता चला कि कोई भी एजेंट आर्किटेक्चर साधारण एक-पास कैलिब्रेटेड प्रॉम्प्टिंग से बेहतर नहीं रहा। एजेंटों में F1 0.906–0.907 की सीमा में रहा — यानी लगभग उसी स्तर पर, लेकिन अतिरिक्त लाभ के बिना।

LLM लेबलिंग के ऑडिटर के रूप में

LLM-दृष्टिकोण का एक अलग मूल्य यह है कि यह संदर्भ सेट की गुणवत्ता की जाँच करने में मदद करता है। मॉडलों ने 414 स्थानों की ओर संकेत किया जहाँ मूल लेबलिंग संभवतः अधूरी थी। मैन्युअल जाँच के बाद 227 छूटे हुए PHI-स्पैन की पुष्टि हुई। जब लेबलिंग को ठीक किया गया और प्रॉम्प्टिंग फिर से चलाई गई, तो रिकॉल बढ़कर 0.981 हो गया, जबकि F1 = 0.907 ± 0.002 रहा। इसका मतलब है कि LLM न केवल डी-आइडेंटिफिकेशन टूल के रूप में, बल्कि अधिक सटीक प्रशिक्षण सेट बनाने के लिए ऑडिटर के रूप में भी काम कर सकता है।

निष्कर्ष

अच्छी तरह से समायोजित प्रॉम्प्ट LLM को संस्थागत PHI अंतर को पाटने और मॉडल के एक ही कॉल में सटीकता और रिकॉल का इष्टतम संतुलन खोजने की अनुमति देता है। यह तरीका पारंपरिक शब्दकोश-आधारित विधियों से अधिक महंगा है, लेकिन ये लागत संदर्भ सेट की जाँच और सुधार की संभावना से आंशिक रूप से वसूल हो जाती है।

लेखक LLM को विशेष डी-आइडेंटिफ़ायर का एक वैध अनुकूलनीय विकल्प मानते हैं। मुख्य कार्यान्वयन रणनीति — संस्थान-विशिष्ट प्रॉम्प्ट का विकास, जो हर क्लीनिक की स्थानीय वास्तविकताओं को ध्यान में रखते हैं।