SPARSEUP من Linkup: مُرمِّز متناثر يضم 149 مليون مُعلمة
تتناول المقالة بنية SPARSEUP ونتائجها: 56,4 nDCG@10 على BEIR-13، إلى جانب استدعاء يتجاوز 97% عند استخدامه مع فهرس Seismic في نحو 380 ميكروثانية لكل استعلام. ويشمل التحليل التقنيات التي تحافظ على تباعد المتجهات، ومقارنتها بنماذج أخرى، وشروط التوزيع بموجب Apache 2.0.
ما هذا النموذج وكيفية الوصول إليه
SPARSEUP هو مُرمِّز متفرق مفتوح من Linkup Research، يضم 149 مليون مُعامل. يعتمد على ModernBERT، ومرخّص بموجب Apache 2.0.
الأوزان متاحة على Hugging Face. يمكن تحميل النموذج عبر Transformers أو Sentence Transformers، مع تحديد trust_remote_code=True.
تصف Linkup النموذج بأنه أقوى مُرمِّز متفرق قائم على المفردات تعرفه الشركة، ضمن النماذج التي يقل عدد معاملاتها عن 150 مليونًا.
كيف تعمل التمثيلات المتفرقة
في SPARSEUP، يتوافق كل بُعد في المتجه مع رمز من المفردات. وتناسب هذه المتجهات الفهارس المعكوسة، كما أنها تطابق الكلمات النادرة على نحو أفضل.
يحسب النموذج التنشيطات باستخدام الصيغة log(1 + ReLU(x - 15)). ثم يحتفظ بأقوى 12 بُعدًا لكل رمز إدخال قبل تطبيق max pooling.
يحد ذلك من عدد الأبعاد النشطة لكل رمز، لا من الحجم الإجمالي للمتجه. ويجمع طيّ حالة الأحرف بين صيغ Byte-level BPE، مثل heat وHeat وĠheat وĠHeat، مع الاحتفاظ بأعلى وزن.
بعد الدمج، ينخفض عدد أبعاد المخرجات من نحو 50 ألفًا إلى 34 ألفًا. وتُضاف البادئتان [Q] و[D] إلى الاستعلامات والمستندات؛ ويُحسب التقييم باستخدام الضرب النقطي.
يبلغ الحد الأقصى للطول أثناء التقييم 128 رمزًا للاستعلام و512 رمزًا للمستند. ومن المهم مراعاة هذه الحدود عند ضبط معالجة المدخلات.
كيف دُرّب النموذج
بدأ تدريب SPARSEUP من نقطة التحقق LateOn-unsupervised. وأعاد الفريق رأس MLM الأصلي لـ ModernBERT.
واستخدم الفريق مزيجًا من بيانات LightOn للضبط الدقيق، مع الاقتصار على التدريب التبايني. واختيرت لكل استعلام سبعة أمثلة سلبية صعبة من مجموعة تضم 50 مثالًا، إلى جانب استخدام الأمثلة السلبية داخل الدفعة.
لم يستخدم الفريق تقطير cross-encoder. واكتمل التدريب على وحدة H100 واحدة.
ما الذي تُظهره المقارنات
يبلغ متوسط نتيجة SPARSEUP على BEIR-13، من دون MS MARCO، 56,4 nDCG@10. وتورد بطاقة النموذج النتائج التالية للمُرمِّزات المتفرقة:
| النموذج | BEIR-13، nDCG@10 |
|---|---|
| SPARSEUP | 56,4 |
| opensearch-neural-sparse-encoding-doc-v3-gte | 54,6 |
| opensearch-neural-sparse-encoding-v1 | 52,44 |
| ModernBERT-VT | 52,4 |
| splade-v3 | 51,7 |
| granite-embedding-30m-sparse | 50,6 |
سجّل LACONIC-1B نتيجة 58,7، لكنه ينتمي إلى فئة حجم مختلفة، إذ يضم النموذج مليار مُعامل.
في مقارنة مضبوطة باستخدام العمود الفقري والبيانات نفسيهما، سجّل LateOn نتيجة 58,9، وDenseOn نتيجة 57,9، وSPARSEUP نتيجة 56,4. وتذكر خلاصة الورقة البحثية أن الفارق عن DenseOn يبلغ 1,52 نقطة، وعن LateOn يبلغ 2,5 نقطة.
تفوّق SPARSEUP على DenseOn في ArguAna وHotpotQA، وكان أداؤه أفضل في Touché. لكنه يتأخر على مجموعات البيانات ذات الاستعلامات الأكثر دلالية؛ ويبرز ذلك خصوصًا في FiQA. كما أُشير إلى DBPedia بوصفه نقطة ضعف.
في BEIR بعد إزالة البيانات المتداخلة، ينخفض الفارق عن DenseOn إلى 0,17 نقطة. وبالنسبة إلى NQ وMS MARCO بعد إزالة البيانات المتداخلة، استُخدم 21 و46 استعلامًا فقط على التوالي، لذا تحذّر Linkup من أن النتائج مشوبة بالضوضاء.
التناثر ومعايير الاختيار
على MS MARCO، يستخدم SPARSEUP في المتوسط 47 مصطلحًا غير صفري لكل استعلام و190 لكل مستند. أما SPLADE-v3، فتبلغ الأعداد المذكورة 25 مصطلحًا لكل استعلام و170 لكل مستند.
باستخدام الفهرس المعكوس Seismic، يحقق النموذج أكثر من 97% من recall مقارنةً بالبحث الدقيق، في نحو 380 ميكروثانية لكل استعلام ضمن مسار واحد.
يجدر النظر في SPARSEUP عندما يكون التمثيل المتفرق والبحث عبر فهرس معكوس من الأولويات. وينبغي أيضًا مراعاة نتائجه على مجموعات البيانات المطلوبة عند التقييم: فالنموذج أضعف مع الاستعلامات الدلالية، وعلى FiQA وDBPedia.
ترى Linkup أن زيادة حجم المتجه قد تضيف من 1 إلى 2 نقطة على BEIR. لكن الفريق قرر الحفاظ على تناثر النموذج.
الأسئلة المتكررة
المواد ذات الصلة
جميع المواد
اختبار وكلاء البرمجة في تطوير XR التفاعلي: نتائج GenXR-Bench
نُشرت GenXR-Bench، وهي مجموعة تضم 112 مهمة من إعداد خبراء لتقييم وكلاء البرمجة تقييمًا شاملًا في تطوير XR التفاعلي، بدءًا من تحسين الوظائف وإصلاح العيوب وصولًا إلى إنشاء التطبيقات والتحقق من سلوكها على أجهزة استهلاكية. حقق أفضل أداء بين النماذج العشرة التي خضعت للاختبار 50.9% Pass@1؛ وشملت الإخفاقات المتكررة التعامل مع الأحداث غير المتزامنة للمستشعرات، وربط الكائنات بالفضاء الواقعي، وفهم التفاعل في السياق المادي.
5 نوفمبر 2026
من المكافأة القياسية إلى جبهة باريتو: توليف RTL باستخدام النماذج اللغوية الكبيرة والتعلّم المعزّز متعدد المعايير
اقتُرحت طريقة لتدريب نموذج لغوي على توليد مجموعة من مرشّحات RTL بدلًا من مخطط واحد، مع مفاضلات مختلفة بين المساحة وزمن التأخير واستهلاك الطاقة؛ وتُبنى المكافأة على مساهمة كل خيار في حجم فرط جبهة باريتو. على RTLLM v2، ارتفع حجم فرط باريتو النسبي بمقدار 13.3 نقطة مئوية مقارنةً بالإصدار الأساسي من دون تحسين PPA، وبمقدار 14.4 نقطة مئوية مقارنةً بالتدريب بالتعلّم المعزّز ذي الهدف الواحد.
5 نوفمبر 2026
تتعرّف النماذج اللغوية الكبيرة الطبية على تحديثات التوصيات، لكنها غالبًا ما تجيب وفقًا للإرشادات القديمة
أظهرت دراسة ChronoEvo التي شملت 1709 تغييرات في التوصيات السريرية أن النموذج الأساسي رصد التحديث في 90,8% من الإجابات، لكنه طبّقه بالكامل في 58,5% فقط، وظلت فجوة قدرها 32,3 نقطة مئوية قائمة لدى 14 نموذجًا. وحتى تعزيز بروز التحديثات لم يحقق زيادة ملحوظة في التطبيق الكامل للقواعد الجديدة ضمن التوصيات السريرية.
4 نوفمبر 2026