परिचय: तालिकाएँ कठिन क्यों हैं
तालिकीय भविष्यवाणी मशीन लर्निंग के प्रमुख कार्यों में से एक है। बड़े भाषा मॉडल ने टेक्स्ट और छवियों के साथ काम करना सीख लिया है, लेकिन तालिकाएँ एक विशेष चुनौती बनी हुई हैं। LLM को तालिकाओं पर लागू करने के लिए, शोधकर्ताओं ने दो रास्ते अपनाए हैं: विशेष मॉडलों का फाइन-ट्यूनिंग (TFM) या इन-कॉन्टेक्स्ट लर्निंग का उपयोग।
पहला रास्ता — Tabular Foundation Models बनाना है, जैसे TabPFN। ऐसे मॉडल प्रभावशाली परिणाम दिखाते हैं, लेकिन उन्हें बड़ी कम्प्यूटेशनल लागत की आवश्यकता होती है। हर नए डेटासेट के लिए उन्हें दोबारा प्रशिक्षित करना एक अफोर्डेबल विलासिता है।
यहाँ few-shot prompting मदद के लिए आता है: मॉडल को प्रशिक्षण सेट से कुछ उदाहरण दिखाए जाते हैं, और वह एक नया मान भविष्यवाणी करता है। यह सस्ता और तेज़ है, लेकिन सवाल उठता है: कौन से उदाहरण चुनें? यादृच्छिक चयन अक्सर खराब परिणाम देता है।
ARASH: उदाहरणों का स्मार्ट चयन
ARASH (Adaptive Retrieval And Shot Selection) विधि ठीक इसी समस्या का समाधान करती है। यादृच्छिक या अनुमान-आधारित चयन के बजाय, यह प्रशिक्षण सेट में प्रत्येक बिंदु के स्थानीय पड़ोस का विश्लेषण करती है। विचार यह है कि ऐसे शॉट्स चुने जाएँ जो वर्तमान क्वेरी से अधिकतम समानता रखते हों और साथ ही डेटा के लिए प्रतिनिधि हों।
एल्गोरिदम अनुकूली रूप से काम करता है: प्रत्येक नई क्वेरी के लिए, उदाहरणों का चयन उसके स्थानीय संदर्भ को ध्यान में रखते हुए नए सिरे से होता है। यह आवश्यक उदाहरणों की संख्या को न्यूनतम करने की अनुमति देता है, सटीकता बनाए रखते हुए।
व्यवहार में इसका क्या लाभ है
प्रयोगों ने प्रभावशाली परिणाम दिखाए हैं। TabPFN के साथ ARASH का उपयोग करने पर, प्रॉम्प्ट की लंबाई 1261.5 गुना कम हो जाती है, और मेमोरी खपत 2.56 गुना कम हो जाती है। साथ ही, सटीकता पूर्ण प्रॉम्प्ट के बराबर बनी रहती है। इसका मतलब है कि मॉडल का उपयोग सीमित संसाधनों वाले वातावरण में किया जा सकता है — एज डिवाइस, वेब एप्लिकेशन और बड़े डेटा स्ट्रीम प्रोसेसिंग में।
ऐसे परिणाम इसलिए प्राप्त होते हैं क्योंकि ARASH केवल समान पंक्तियों का चयन नहीं करता, बल्कि उन्हीं को चुनता है जो किसी दिए गए क्वेरी के लिए अधिकतम जानकारी रखती हैं। यह विशेष रूप से तब महत्वपूर्ण है जब प्रशिक्षण सेट बड़ा हो और इन्फ्रेंस का समय सीमित हो।
निष्कर्ष
ARASH शक्तिशाली तालिकीय मॉडलों को वास्तविक अनुप्रयोगों में सुलभ बनाने की दिशा में एक और कदम है। जनरेटिव मॉडल और स्मार्ट उदाहरण चयन का संयोजन गुणवत्ता खोए बिना कुशल few-shot लर्निंग का मार्ग खोलता है।
भविष्य में इस दिशा के विकास की उम्मीद की जा सकती है: शायद ऐसी विधियाँ सामने आएँगी जो प्रॉम्प्ट्स को और भी अधिक संपीड़ित करेंगी या अन्य प्रकार के डेटा के अनुकूल होंगी।
