Linkup का SPARSEUP: 149 मिलियन पैरामीटर वाला विरल एन्कोडर
यह लेख SPARSEUP की संरचना और इसके परिणामों की पड़ताल करता है: BEIR-13 पर 56,4 nDCG@10, साथ ही Seismic इंडेक्स के साथ मिलकर प्रति क्वेरी लगभग 380 माइक्रोसेकंड में 97% से अधिक रिकॉल। इसमें वे तकनीकें शामिल हैं जो वेक्टरों की विरलता बनाए रखती हैं, अन्य मॉडलों के साथ तुलना और Apache 2.0 के तहत वितरण की शर्तें।
मॉडल क्या है और इसका उपयोग कैसे करें
SPARSEUP, Linkup Research का 149 मिलियन पैरामीटर वाला ओपन-सोर्स स्पार्स एनकोडर है। इसका बैकबोन ModernBERT है और इसका लाइसेंस Apache 2.0 है।
वेट Hugging Face पर उपलब्ध हैं। मॉडल को Transformers या Sentence Transformers के ज़रिए trust_remote_code=True निर्दिष्ट करके लोड किया जा सकता है।
Linkup के अनुसार, 150 मिलियन से कम पैरामीटर वाले मॉडलों में यह कंपनी का जाना-पहचाना सबसे मज़बूत सार्वजनिक शब्दावली-आधारित स्पार्स एनकोडर है।
स्पार्स निरूपण कैसे काम करता है
SPARSEUP में वेक्टर का प्रत्येक आयाम शब्दावली के एक टोकन से मेल खाता है। ऐसे वेक्टर इनवर्टेड इंडेक्स के लिए उपयुक्त हैं और दुर्लभ शब्दों का बेहतर मिलान करते हैं।
मॉडल log(1 + ReLU(x - 15)) फ़ॉर्मूले से सक्रियणों की गणना करता है। फिर max pooling से पहले, प्रत्येक इनपुट टोकन के लिए 12 सबसे मज़बूत आयाम रखता है।
इससे प्रति टोकन सक्रिय आयामों की संख्या सीमित होती है, न कि वेक्टर का कुल आकार। केस फ़ोल्डिंग Byte-level BPE के अलग-अलग रूपों, जैसे heat, Heat, Ġheat और ĠHeat, को मिलाकर उनका सबसे बड़ा वेट बनाए रखती है।
मिलाने के बाद आउटपुट आयामों की संख्या लगभग 50 हज़ार से घटकर 34 हज़ार रह जाती है। क्वेरी और दस्तावेज़ों को [Q] और [D] प्रीफ़िक्स दिए जाते हैं; स्कोर की गणना डॉट प्रोडक्ट से होती है।
स्कोरिंग के दौरान अधिकतम लंबाई क्वेरी के लिए 128 टोकन और दस्तावेज़ के लिए 512 टोकन है। इनपुट प्रोसेसिंग को कॉन्फ़िगर करते समय इन सीमाओं का ध्यान रखना ज़रूरी है।
मॉडल को कैसे प्रशिक्षित किया गया
SPARSEUP का प्रशिक्षण LateOn-unsupervised चेकपॉइंट से शुरू हुआ। टीम ने ModernBERT का मूल MLM हेड वापस जोड़ा।
फ़ाइन-ट्यूनिंग के लिए LightOn डेटा का मिश्रण लिया गया और केवल कॉन्ट्रास्टिव ट्रेनिंग लागू की गई। हर क्वेरी के लिए 50 के पूल से सात hard negatives चुने गए, साथ ही in-batch negatives का भी इस्तेमाल किया गया।
टीम ने cross-encoder distillation लागू नहीं की। प्रशिक्षण एक H100 पर पूरा हुआ।
तुलनाओं से क्या पता चलता है
MS MARCO के बिना BEIR-13 पर SPARSEUP का औसत स्कोर 56,4 nDCG@10 है। मॉडल कार्ड में स्पार्स एनकोडरों के ये नतीजे दिए गए हैं:
| मॉडल | BEIR-13, nDCG@10 |
|---|---|
| SPARSEUP | 56,4 |
| opensearch-neural-sparse-encoding-doc-v3-gte | 54,6 |
| opensearch-neural-sparse-encoding-v1 | 52,44 |
| ModernBERT-VT | 52,4 |
| splade-v3 | 51,7 |
| granite-embedding-30m-sparse | 50,6 |
LACONIC-1B ने 58,7 स्कोर किया, लेकिन यह अलग आकार-वर्ग में आता है: इस मॉडल में 1 अरब पैरामीटर हैं।
एक ही बैकबोन और डेटा पर किए गए नियंत्रित तुलनात्मक परीक्षण में LateOn ने 58,9, DenseOn ने 57,9 और SPARSEUP ने 56,4 स्कोर किया। लेख के निष्कर्षों में DenseOn से 1,52 अंक और LateOn से 2,5 अंक पीछे रहने की बात कही गई है।
SPARSEUP ने ArguAna और HotpotQA पर DenseOn से बेहतर प्रदर्शन किया, और Touché पर भी उसका प्रदर्शन बेहतर रहा। अधिक अर्थ-आधारित क्वेरी वाले डेटासेट पर मॉडल पीछे रहा; FiQA पर यह अंतर ख़ास तौर पर स्पष्ट है। DBPedia को भी इसकी कमज़ोरियों में शामिल किया गया है।
Decontaminated BEIR पर DenseOn से अंतर घटकर 0,17 अंक रह जाता है। Decontaminated NQ और MS MARCO के लिए क्रमशः केवल 21 और 46 क्वेरी इस्तेमाल की गईं, इसलिए Linkup ने नतीजों में शोर की चेतावनी दी है।
स्पार्सिटी और चयन के मानदंड
MS MARCO पर SPARSEUP प्रति क्वेरी औसतन 47 और प्रति दस्तावेज़ 190 नॉन-ज़ीरो टर्म इस्तेमाल करता है। SPLADE-v3 के लिए प्रति क्वेरी 25 और प्रति दस्तावेज़ 170 टर्म बताए गए हैं।
Seismic इनवर्टेड इंडेक्स के साथ, एक थ्रेड पर मॉडल प्रति क्वेरी लगभग 380 माइक्रोसेकंड में exact search की तुलना में 97% से अधिक recall हासिल करता है।
अगर स्पार्स निरूपण और इनवर्टेड इंडेक्स के ज़रिए खोज अहम है, तो SPARSEUP पर विचार करना उचित है। मूल्यांकन करते समय उन डेटासेट पर इसके नतीजों को भी ध्यान में रखें जिनकी आपको ज़रूरत है: मॉडल अर्थ-आधारित क्वेरी, FiQA और DBPedia पर कमज़ोर है।
Linkup का मानना है कि वेक्टर का आकार बढ़ाने से BEIR पर 1–2 अंक का सुधार हो सकता था। टीम ने मॉडल की स्पार्सिटी बनाए रखने का फ़ैसला किया।
अक्सर पूछे जाने वाले प्रश्न
समान सामग्री
सभी सामग्री
इंटरैक्टिव XR विकास में कोडिंग एजेंटों का मूल्यांकन: GenXR-Bench के निष्कर्ष
GenXR-Bench प्रकाशित किया गया है—इंटरैक्टिव XR विकास में coding एजेंटों के एंड-टू-एंड मूल्यांकन के लिए 112 विशेषज्ञ कार्यों का एक सेट: सुविधाओं को बेहतर बनाने और दोषों को ठीक करने से लेकर उपभोक्ता उपकरणों पर व्यवहार की जाँच के साथ ऐप्लिकेशन बनाने तक। परीक्षण किए गए दस मॉडलों में सर्वश्रेष्ठ परिणाम 50,9% Pass@1 रहा; बार-बार सामने आने वाली विफलताओं में सेंसर की असिंक्रोनस घटनाओं को संभालना, वस्तुओं को वास्तविक स्थान से जोड़ना और भौतिक संदर्भ में अंतःक्रिया को समझना शामिल हैं।
5 नवम्बर 2026
स्केलर पुरस्कार से पारेतो फ्रंट तक: बहु-उद्देश्यीय रीइन्फोर्समेंट लर्निंग के साथ RTL का LLM संश्लेषण
एक भाषा मॉडल को एक ही डिज़ाइन के बजाय क्षेत्रफल, विलंबता और ऊर्जा खपत के बीच अलग-अलग समझौतों वाले RTL उम्मीदवारों का एक सेट तैयार करने के लिए प्रशिक्षित करने का तरीका प्रस्तावित किया गया है; इनाम की गणना पारेतो फ्रंट के हाइपरवॉल्यूम में प्रत्येक उम्मीदवार के योगदान के आधार पर की जाती है। RTLLM v2 पर, PPA अनुकूलन के बिना मूल संस्करण की तुलना में सापेक्ष हाइपरवॉल्यूम 13,3 प्रतिशत अंक और एकल-उद्देश्यीय सुदृढीकरण सीखने की तुलना में 14,4 प्रतिशत अंक बढ़ा।
5 नवम्बर 2026
मेडिकल LLMs दिशानिर्देशों में संशोधन के बारे में जान लेते हैं, लेकिन अक्सर पुराने नियमों के अनुसार जवाब देते हैं
1709 नैदानिक दिशानिर्देशों में हुए बदलावों पर ChronoEvo के अध्ययन से पता चलता है: मुख्य मॉडल में 90,8% उत्तरों ने नए बदलाव को दर्ज किया, लेकिन केवल 58,5% ने उसे पूरी तरह लागू किया; 32,3 प्रतिशत अंकों का यह अंतर 14 मॉडलों में बना रहा। अपडेट को अधिक प्रमुखता देने से भी नए नियमों को नैदानिक दिशानिर्देश में पूरी तरह शामिल करने में कोई महत्वपूर्ण बढ़ोतरी नहीं हुई।
4 नवम्बर 2026