RBS-Attention: कम आंके गए ब्लॉकों की खोज के साथ लंबे प्रॉम्प्ट्स के प्रीफिल को तेज़ करना

14 अक्टूबर 20263 बार देखा गया

यह लेख एक ऐसी विधि प्रस्तुत करता है जो औसत समानता के आधार पर ब्लॉकों के चयन को उन उम्मीदवारों की खोज से पूरक बनाती है, जो महत्वपूर्ण टोकन छिपा सकते हैं। 128K कॉन्टेक्स्ट पर, लेखक प्रीफिल के दौरान अटेंशन में 20,65 गुना तक तेज़ी की रिपोर्ट करते हैं; Qwen3-32B पर RULER का परिणाम 88,65 रहा, जबकि डेंस अटेंशन का 89,52 था।

RBS-Attention: कम आंके गए ब्लॉकों की खोज के साथ लंबे प्रॉम्प्ट्स के प्रीफिल को तेज़ करना

इन्फरेंस के किस हिस्से को यह विधि तेज़ करती है

जनरेशन शुरू होने से पहले प्रीफिल प्रॉम्प्ट को प्रोसेस करता है। Dense self-attention पूरे इनपुट पर चलता है, इसलिए लंबा कॉन्टेक्स्ट इस चरण का कम्प्यूटेशनल लोड बढ़ा देता है।

RBS-Attention प्रीफिल के लिए ब्लॉकों का विरल चयन करता है और कम्प्यूटेशनल लागत घटा सकता है। लेकिन ब्लॉक का सेंट्रॉइड टोकनों की प्रासंगिकता का औसत निकालता है और किसी महत्वपूर्ण टोकन को अप्रासंगिक टोकनों के बीच छिपा सकता है। लेखक इस विफलता को mean dilution कहते हैं।

इस विधि का व्यावहारिक उद्देश्य पूरे ब्लॉक की औसत प्रासंगिकता पर ही निर्भर किए बिना प्रीफिल को तेज़ करना है।

ब्लॉकों का चयन कैसे होता है

इस विधि को ट्रेनिंग की आवश्यकता नहीं होती और यह एक-दूसरे की पूरक दो शाखाओं का उपयोग करती है:

  • बेसलाइन शाखा सेंट्रॉइड के ज़रिए ब्लॉक की औसत प्रासंगिकता का आकलन करती है।
  • रिकवरी शाखा key-ब्लॉक के अधिकतम रेडियस और उसके प्रॉम्प्ट, लेयर तथा हेड पर निर्भर वितरण को ध्यान में रखती है। इस तरह यह उन ब्लॉकों का पता लगाती है जिनकी प्रासंगिकता का संभावित रूप से कम आकलन हुआ हो।

हर शाखा अपने चयन पर अलग से एक थ्रेशोल्ड लागू करती है। इसके बाद यह विधि मास्क को मिलाती है और रिकवरी ब्लॉकों के योगदान को नियंत्रित करती है। निष्पादन अब भी नियमित ब्लॉक-स्पार्स FlashAttention के ज़रिए होता है।

यह डिज़ाइन उन स्थितियों के लिए उपयुक्त है, जहाँ सेंट्रॉइड-आधारित चयन कुछ अलग-अलग प्रासंगिक टोकनों को छोड़ सकता है, लेकिन ब्लॉक-स्पार्स निष्पादन बनाए रखना ज़रूरी है।

स्पीड के कौन-से नतीजे दिखाए गए हैं

माप H100 पर 128K कॉन्टेक्स्ट के साथ किए गए थे। Qwen3-30B-A3B-Instruct-2507-FP8 के लिए लेख में निम्नलिखित स्पीडअप दिए गए हैं:

चरणस्पीडअप
Standalone prefill-attention20.65×
vLLM में prefill-attention11.92×
शुरू से अंत तक time-to-first-token5.97×

ये एक विशिष्ट कॉन्फ़िगरेशन के नतीजे हैं। इन्हें गुणवत्ता के आकलन से अलग देखना चाहिए और संबंधित मापों के बिना दूसरी मॉडल पर लागू नहीं करना चाहिए।

गुणवत्ता और जाँचों के बारे में क्या पता है

Dense मॉडल Qwen3-32B पर RULER की कुल सटीकता 88.65 रही। Dense attention के लिए यह 89.52 बताई गई है।

गुणवत्ता का अतिरिक्त आकलन LongBench-v2, InfiniteBench और Video-MME पर किया गया। सहायक प्रयोगों में प्रासंगिक डेटा को बनाए रखने की क्षमता मापी गई, समान sparsity पर selectors की तुलना की गई और ब्लॉक के अलग-अलग आकारों, थ्रेशोल्ड तथा मेमोरी की मात्रा की जाँच की गई।

विधि चुनते समय स्पीड और गुणवत्ता का अलग-अलग आकलन करना चाहिए: दिए गए RULER नतीजे उन कार्यों पर जाँच का विकल्प नहीं हैं जो किसी खास अनुप्रयोग के लिए महत्वपूर्ण हैं।

अक्सर पूछे जाने वाले प्रश्न

समान सामग्री

सभी सामग्री
Toollery: बिना फ़ाइन-ट्यूनिंग के, दसियों हज़ार विकल्पों में से LLM एजेंटों के लिए टूल चुनना
समाचार

Toollery: बिना फ़ाइन-ट्यूनिंग के, दसियों हज़ार विकल्पों में से LLM एजेंटों के लिए टूल चुनना

Toollery कौशलों और टूल्स के विवरणों पर एक खोज इंडेक्स बनाता है और अनुरोध आने पर मॉडल को केवल सीमित उम्मीदवारों का सेट भेजता है। दसियों हज़ार फ़ंक्शनों तक के आकार वाली लाइब्रेरी पर किए गए प्रयोगों में, यह तरीका निश्चित top-K पर चयन की गुणवत्ता बनाए रखने में सक्षम है, हालांकि अंतिम प्रभाव लोड प्रोफ़ाइल और प्रदाता की कैशिंग पर निर्भर करता है।

11 नवम्बर 2026
डैशबोर्ड विश्लेषण में GUI एजेंटों का चरणबद्ध निदान: DashAct बेंचमार्क
अनुसंधान

डैशबोर्ड विश्लेषण में GUI एजेंटों का चरणबद्ध निदान: DashAct बेंचमार्क

DashAct प्रस्तुत है—348 मानव-सत्यापित ट्रैजेक्टरी वाला एक बेंचमार्क, जो इंटरैक्टिव डैशबोर्ड के साथ GUI एजेंटों के काम को तीन चरणों और चार दृश्य स्थितियों में विभाजित करता है। नतीजे बताते हैं कि एजेंटों को कार्रवाइयों का अनुमान लगाने और दृश्य लक्ष्यों से जुड़ने में लगातार समस्याएँ आती हैं, साथ ही उनकी प्रतिक्रियाएँ संदर्भ और स्थानिक समर्थन पर निर्भर करती हैं।

11 नवम्बर 2026
WILSON: पैथोमॉर्फोलॉजिकल विश्लेषण और निष्कर्ष तैयार करने के लिए रोगी के आवर्धनों और स्लाइडों का संयोजन
समाचार

WILSON: पैथोमॉर्फोलॉजिकल विश्लेषण और निष्कर्ष तैयार करने के लिए रोगी के आवर्धनों और स्लाइडों का संयोजन

यह प्रीप्रिंट WILSON प्रस्तुत करता है—एक vision-language मॉडल, जो केवल एक अलग “सर्वश्रेष्ठ” स्लाइड के बजाय पूरे स्लाइडों और एक ही मरीज के अलग-अलग आवर्धन पर लिए गए नमूनों की छवियों को एन्कोड करता है। किसी विशिष्ट कार्य के लिए अतिरिक्त प्रशिक्षण के बिना, यह कई मेट्रिक्स पर विशेषीकृत और अधिक बड़े स्लाइड-मॉडलों से बेहतर प्रदर्शन करता है, वह भी काफ़ी कम कंप्यूटेशनल लागत पर; इसके नैदानिक विवरणों को पैथोलॉजिस्टों से अधिक ऊँची रेटिंग मिली।

11 नवम्बर 2026
RBS-Attention: कम आंके गए ब्लॉकों की खोज के साथ लंबे प्रॉम्प्ट्स के प्रीफिल को तेज़ करना