बिना फ़ाइन-ट्यूनिंग के स्रोतों के SQL व्यू के ज़रिए LLM के भ्रमों की जाँच

9 नवम्बर 202616 बार देखा गया

यह काम जाँचता है कि क्या LLM मतिभ्रम का पता लगाने के लिए बिना पर्यवेक्षण के स्रोत से जोड़ने हेतु एक बुनियादी प्रतीकात्मक कौशल—स्रोत दस्तावेज़ों के आधार पर SQL डेटाबेस बनाना—का उपयोग कर सकता है। RAGTruth और DiaHalu पर यह न्यूरो-सिम्बॉलिक पाइपलाइन सीधे भविष्यवाणी करने से अधिक सटीक साबित होती है और अत्याधुनिक तरीकों के बराबर प्रदर्शन करती है, जबकि इसके लिए डोमेन-विशिष्ट फ़ाइन-ट्यूनिंग की आवश्यकता नहीं होती।

बिना फ़ाइन-ट्यूनिंग के स्रोतों के SQL व्यू के ज़रिए LLM के भ्रमों की जाँच

भ्रमात्मक उत्तरों का पता लगाने का कार्य

भ्रमात्मक उत्तर भाषा मॉडल का ऐसा निष्कर्ष है जो तथ्यात्मक रूप से गलत हो या स्रोत से पुष्ट न होता हो। LLM की तर्क-प्रक्रिया अपारदर्शी होने के कारण ऐसे निष्कर्षों का पता लगाना कठिन है। यह स्पष्ट नहीं होता कि मॉडल का निष्कर्ष गलत क्यों हो सकता है।

यह लेख बिना पर्यवेक्षण के भ्रमात्मक उत्तरों का पता लगाने की पड़ताल करता है। यह तरीका मॉडल के आंतरिक आत्मविश्वास के बजाय स्रोत के आधार पर निष्कर्ष की जाँच करता है। निष्कर्ष: जाँच के लिए एक बाहरी आधार—स्रोत दस्तावेज़—की आवश्यकता होती है।

स्रोतों के निरूपण के रूप में SQL डेटाबेस

लेखक भाषा मॉडल से स्रोत दस्तावेज़ों के आधार पर SQL डेटाबेस बनवाने का प्रस्ताव रखते हैं। यह डेटाबेस स्रोतों के तथ्यों का एक संरचित निरूपण बन जाता है। फिर डेटाबेस का उपयोग स्रोत और जनरेट किए गए उत्तर के आधार पर तर्क करने के लिए किया जाता है।

निष्कर्ष: SQL निरूपण जाँच को डेटा क्वेरी करने के दायरे में ले आता है।

भ्रमात्मक उत्तरों की जाँच के लिए न्यूरो-सिम्बॉलिक पाइपलाइन

भ्रमात्मक उत्तरों का पता लगाने की पाइपलाइन बनाए गए डेटाबेस पर आधारित है। यह न्यूरो-सिम्बॉलिक जाँच को संभव बनाती है। पाइपलाइन भाषा मॉडल और SQL डेटाबेस पर प्रतीकात्मक कार्रवाइयों को जोड़ती है। जाँच स्रोत और जनरेट किए गए उत्तर के आधार पर की जाती है।

निष्कर्ष: क्वेरी के ज़रिए जाँच का चरण स्पष्ट और पुनरुत्पादित करने योग्य बन जाता है।

सीधे पूर्वानुमान से तुलना

RAGTruth और DiaHalu डेटासेट पर यह तरीका सीधे पूर्वानुमान से बेहतर प्रदर्शन करता है। यह भ्रमात्मक उत्तरों का पता लगाने के अत्याधुनिक तरीकों को टक्कर देता है। इस तरीके के लिए विषय-विशिष्ट फ़ाइन-ट्यूनिंग की आवश्यकता नहीं है। यह LLM की पहले से मौजूद निम्न-स्तरीय सामान्य क्षमता पर निर्भर करता है।

| मानदंड | सीधा पूर्वानुमान | SQL डेटाबेस-आधारित तरीका | | यह किसका उपयोग करता है | LLM तुरंत आकलन देता है | स्रोतों पर आधारित SQL डेटाबेस और न्यूरो-सिम्बॉलिक जाँच | | विषय-विशिष्ट फ़ाइन-ट्यूनिंग | उल्लेख नहीं किया गया | आवश्यक नहीं | | RAGTruth और DiaHalu पर परिणाम | SQL-आधारित तरीके से कमतर | सीधे पूर्वानुमान से बेहतर प्रदर्शन करता है और अत्याधुनिक तरीकों को टक्कर देता है |

निष्कर्ष: SQL-आधारित तरीका स्रोत पर आधारित सत्यापन योग्य आधार देता है। यह लेख GroundLM EMNLP 2026 Workshop में स्वीकार किया गया है।

चुनाव का व्यावहारिक मानदंड

चुनाव के मानदंड में कई शर्तें शामिल हैं:

  • स्रोत दस्तावेज़ उपलब्ध हों;
  • स्रोत से SQL डेटाबेस बनाया जा सके;
  • विषय-विशिष्ट फ़ाइन-ट्यूनिंग की आवश्यकता न हो;
  • जाँच स्रोत और जनरेट किए गए उत्तर के आधार पर हो।

यह तरीका LLM की निम्न-स्तरीय प्रतीकात्मक क्षमता, जैसे SQL, पर निर्भर करता है। निष्कर्ष: यह तरीका तब उपयुक्त है, जब जाँच स्रोत पर आधारित हो और विषय-विशिष्ट फ़ाइन-ट्यूनिंग की आवश्यकता न हो।

अक्सर पूछे जाने वाले प्रश्न

समान सामग्री

सभी सामग्री
MathAdv: मशीन-निर्मित प्रमाणों की अंतिम सटीकता के पीछे क्या छिपा है?
समाचार

MathAdv: मशीन-निर्मित प्रमाणों की अंतिम सटीकता के पीछे क्या छिपा है?

गणित के 13 स्नातक और स्नातकोत्तर विषयों के कार्यों का यह नैदानिक ​​समूह Lean 4 में स्वचालित प्रमेय-प्रमाणन प्रणालियों का मूल्यांकन केवल अंतिम परिणाम के आधार पर नहीं, बल्कि विषय पर उनकी पकड़, अनौपचारिक तर्क की गुणवत्ता और शर्तों को नए शब्दों में प्रस्तुत किए जाने पर उनकी मजबूती के आधार पर भी करता है। घटक-वार विश्लेषण से पता चलता है कि किसी समस्या को औपचारिक रूप में बदलना अब भी सबसे बड़ी बाधा है, और सफलता गणित के क्षेत्र तथा समस्या को प्रस्तुत करने के तरीके पर बहुत अधिक निर्भर करती है।

9 नवम्बर 2026
AffordanceWAM: दृश्य पूर्वानुमान और मैनिपुलेटर नियंत्रण के बीच मध्यस्थ के रूप में अफ़ॉर्डेंस
अनुसंधान

AffordanceWAM: दृश्य पूर्वानुमान और मैनिपुलेटर नियंत्रण के बीच मध्यस्थ के रूप में अफ़ॉर्डेंस

यह कार्य एक जनरेटिव मॉडल का वर्णन करता है, जो मानव वीडियो का उपयोग करके बिना क्रिया एनोटेशन और रीटार्गेटिंग के अंतःक्रियाओं की विविधता बढ़ाते हुए, भविष्य के RGB अवलोकनों, स्केलर फ़ील्ड्स और अफ़ॉर्डेंस हीटमैप्स तथा रोबोट के सतत कमांड्स का एक साथ पूर्वानुमान लगाता है। RoboCasa, CALVIN ABC→D और वास्तविक दुनिया के कार्यों पर, यह दृष्टिकोण केवल-RGB और केवल-रोबोट डेटा वाले बेसलाइन की तुलना में लगातार बेहतर प्रदर्शन करता है।

9 नवम्बर 2026
प्रेज़ेंटेशन संपादन को नियंत्रित संचालन के रूप में: EditPPT फ़्रेमवर्क और DeckEdit-Bench बेंचमार्क
समाचार

प्रेज़ेंटेशन संपादन को नियंत्रित संचालन के रूप में: EditPPT फ़्रेमवर्क और DeckEdit-Bench बेंचमार्क

लेखक स्लाइड संपादन को विशिष्ट ऑब्जेक्ट, अनुमत कार्रवाइयों और इस जाँच में बाँटते हैं कि असंबंधित सामग्री अछूती रही है, न कि कोड के मुक्त रूप से निर्माण में। गुणवत्ता मापने के लिए DeckEdit-Bench बनाया गया (28 मानव-निर्मित प्रस्तुतियों पर 183 कार्य), और पाँच आधारभूत मॉडलों पर बहु-एजेंट प्रणाली EditPPT, 97% से अधिक सामग्री सुरक्षित रखते हुए 66.7–74.9% कार्यों में सफल होती है।

8 नवम्बर 2026
बिना फ़ाइन-ट्यूनिंग के स्रोतों के SQL व्यू के ज़रिए LLM के भ्रमों की जाँच