प्रत्येक पृष्ठ के लिए स्पेक्ट्रल सारांश, सामान्य स्केच के बजाय: LOCKS और कुंजियाँ पढ़े बिना ब्लॉक चयन

20 सितम्बर 202629 बार देखा गया

LOCKS विधि प्रत्येक संदर्भ पृष्ठ के लिए कुंजियों का एक अलग निम्न-रैंक प्रतिनिधित्व संग्रहीत करती है, इसलिए ब्लॉकों के महत्व का मूल्यांकन केवल इस सारांश पर आधारित होता है, और संभावित कुंजियाँ स्वयं पढ़ी नहीं जाती हैं। लंबे कार्यों में, यह समाधान लगभग 2% टोकन तक पहुँचकर और डिकोडिंग विलंबता में उल्लेखनीय कमी के साथ पूर्ण कैश के करीब गुणवत्ता बनाए रखता है।

प्रत्येक पृष्ठ के लिए स्पेक्ट्रल सारांश, सामान्य स्केच के बजाय: LOCKS और कुंजियाँ पढ़े बिना ब्लॉक चयन

पेजों के लिए साझा स्केच क्यों काम नहीं करता

लंबे संदर्भ पर बड़े भाषा मॉडल चलाना key-value (KV) cache पर टिकता है। कैश हर डिकोडिंग चरण में पूरा पढ़ा जाता है। Attention keys locally low-rank होती हैं, हालाँकि globally high-rank। पेजों के लिए साझा एक निश्चित low-rank sketch, पेज दिशाओं के प्रति सिद्ध रूप से अंधा है।

उसी summary आकार पर, पेज का अपना आधार पेजों को बेहतर रैंक करता है और वाहकों को कहीं बेहतर सुरक्षित रखता है। साझा स्केच उन दिशाओं को नहीं देखता। प्रति-की spectral summary समस्या हल करता है।

प्रति पेज spectral सारांश

LOCKS हर पेज को अपना rank-r spectral summary देता है। सारांश रेसिडेंट है: r=8 पर कैश का दसवाँ हिस्सा और r=2 पर पच्चीसवाँ हिस्सा। यह विधि पेज-आंतरिक लॉजिट्स का पुनर्निर्माण करती है। यह log-sum-exp के ज़रिए हर पेज के attention द्रव्यमान का अनुमान लगाती है। फिर केवल शीर्ष पेजों को संसाधित करती है।

मुख्य तत्व:

  • नाम: Page-Local Compact Key Summaries for Efficient Long-Context Decoding.
  • सारांश: हर पेज के लिए rank-r spectral summary।
  • रेसिडेंसी: r=8 पर कैश का दसवाँ हिस्सा, r=2 पर पच्चीसवाँ हिस्सा।
  • पुनर्निर्माण: पेज-आंतरिक लॉजिट्स।
  • अनुमान: log-sum-exp के ज़रिए पेज का attention द्रव्यमान।
  • चयन: केवल शीर्ष पेज।

निष्कर्ष: सारांश कैश का एक हिस्सा लेता है, लेकिन पेज विशेषताएँ सुरक्षित रखता है। पेजों का चयन spectral डेटा के आधार पर होता है।

कीज़ पढ़े बिना ब्लॉक चयन

चयन स्वयं उम्मीदवारों की कीज़ या वैल्यूज़ नहीं पढ़ता। चुनाव केवल spectral सारांश के आधार पर होता है। सारांश हर चरण में पूरा स्कैन किया जाता है। प्रति चरण KV पढ़ना बताए गए रैंक रेंज में 10–25 गुना गिर जाता है।

प्रति टोकन डिकोडिंग विलंबता आधी हो जाती है। एक H200 NVL पर 1M टोकन पर, r=8 पर गति 2.0× होती है। यह dense attention से तुलना है। चयन उम्मीदवार कीज़ पढ़ने पर निर्भर नहीं है।

लंबे कार्यों पर गुणवत्ता

LOCKS कई प्रकार के कार्यों पर गुणवत्ता बनाए रखता है। long-document QA (LongBench-v1; Llama-3.1-8B) पर परिणाम पूर्ण कैश से एक अंक के भीतर रहता है। retrieval-dense RULER पर यह विधि सटीक LSE-ओरेकल का अनुसरण करती है, जो सबसे छोटे बजट तक हर की पढ़ता है। long-form reasoning (AIME26, MATH-500; Qwen3-4B) पर गुणवत्ता छोटे बजट मोड में सबसे दूर तक टिकती है। वहाँ eviction-आधारित reasoning सेलेक्टर और कंप्रेसर पीछे हट जाते हैं।

2048 टोकन के बजट पर LOCKS, 100K+ संदर्भ (GLM-4-9B-Chat-1M) पर FullKV की समग्र गुणवत्ता से मेल खाता है। साथ ही यह विधि 2% टोकन संसाधित करती है।

शर्तपरिणाम
Long-document QA (LongBench-v1; Llama-3.1-8B)पूर्ण कैश से एक अंक के भीतर
Retrieval-dense RULERछोटे बजट तक सटीक LSE-ओरेकल का अनुसरण
Long-form reasoning (AIME26, MATH-500; Qwen3-4B)छोटे बजट में गुणवत्ता सबसे दूर तक टिकाता है
2048-टोकन बजट, 100K+ संदर्भ (GLM-4-9B-Chat-1M)FullKV से मेल खाता है, 2% टोकन संसाधित करता है

निष्कर्ष: सूचीबद्ध कार्यों पर यह दृष्टिकोण सेलेक्टर और eviction-based कंप्रेसर की तुलना में गुणवत्ता अधिक देर तक बनाए रखता है।

तैनाती और चयन मानदंड

यह दृष्टिकोण बिना संशोधित vLLM के लिए drop-in प्लगइन के रूप में आता है। बैच डिकोडिंग पूर्ण CUDA ग्राफ़ में काम करती है। vLLM में संशोधन की आवश्यकता नहीं है।

चयन मानदंड: लंबा संदर्भ, सीमित टोकन बजट, KV पढ़ना और डिकोडिंग विलंबता घटाने की आवश्यकता। यदि कार्य में उम्मीदवार कीज़ पढ़े बिना ब्लॉक चयन चाहिए, तो यह दृष्टिकोण उपयुक्त है।

अक्सर पूछे जाने वाले प्रश्न

समान सामग्री

सभी सामग्री
RL सिम्युलेटरों की विफलताओं के निदान में कैनोनिकल बहुपद अपरिवर्तांक: वे वास्तव में कहाँ उपयोगी हैं
समाचार

RL सिम्युलेटरों की विफलताओं के निदान में कैनोनिकल बहुपद अपरिवर्तांक: वे वास्तव में कहाँ उपयोगी हैं

यह अध्ययन जाँचता है कि क्या सीखने योग्य गतिशीलता मॉडल में भौतिक नियमों को शामिल करना उचित है: प्रक्षेप पथों से निकाले गए और ग्रोबनर आधारों के माध्यम से विहित रूप में लाए गए अपरिवर्तक पूर्वानुमानों में मामूली सुधार देते हैं, लेकिन निदान में प्रभावी साबित होते हैं—वे उल्लंघित बाधा का स्थान निर्धारित करने और विशिष्ट गलत पैरामीटर की पहचान करने में सक्षम बनाते हैं।

10 नवम्बर 2026
AURA-Eval: कैसे जाँचें कि LLM एजेंट ने जोखिम को पहचाना और अगला कदम बदल दियाેણ
समाचार

AURA-Eval: कैसे जाँचें कि LLM एजेंट ने जोखिम को पहचाना और अगला कदम बदल दियाેણ

यह फ्रेमवर्क LLM एजेंटों के व्यवहार का आकलन अंतिम निर्णय के आधार पर नहीं, बल्कि अहम बिंदुओं पर जोखिम के प्रति उनकी प्रतिक्रिया के आधार पर करता है: टूल-कॉल की ट्रैजेक्टरी बीच में रोक दी जाती हैं, जिसके बाद मॉडल को अपना तर्क और कार्रवाई जारी रखनी होती है, जबकि LLM जजों का एक पैनल जोखिम की पहचान, कदम की प्रकृति और उसकी सुरक्षा का विश्लेषण करता है। R-Judge की 157 ट्रैजेक्टरी से संकलित 1249 कार्यों में, 20 मॉडलों में सुरक्षित रास्ता न होने पर असुरक्षित कार्रवाइयाँ बढ़ जाती हैं, और निष्पादन से पहले निगरानी हटाने पर शुरुआत में सुरक्षित रहे 52,3% मामले असुरक्षित हो जाते हैं।

10 नवम्बर 2026
चेर्न–साइमन रिज़र्वॉयर की स्मृति: संयोजकता की स्वायत्त गतिशीलता और घनत्व का परिवहन
समाचार

चेर्न–साइमन रिज़र्वॉयर की स्मृति: संयोजकता की स्वायत्त गतिशीलता और घनत्व का परिवहन

यह लेख बताता है कि रिज़र्वॉयर इनपुट संकेतों का इतिहास घनत्व वितरण और ज्यामितीय स्वतंत्रता की डिग्रियों—दोनों में कैसे बनाए रखता है। चार तंत्रों की तुलना से पता चलता है कि धारा एक अलग संयोजकता घटक बनाती है, जो घनत्व की बाद की प्रतिक्रिया को बदलती है, जबकि सभी मापे गए लक्षणों को शामिल करने से पल्स के क्रम को डिकोड करने में थोड़ा सुधार होता है।

10 नवम्बर 2026
प्रत्येक पृष्ठ के लिए स्पेक्ट्रल सारांश, सामान्य स्केच के बजाय: LOCKS और कुंजियाँ पढ़े बिना ब्लॉक चयन