RBS-Attention: تسريع الملء المسبق للمطالبات الطويلة عبر البحث عن الكتل الأقل حظًا من الاهتمام

14 أكتوبر 20263 الآراء

تقدّم المقالة طريقة تُكمّل اختيار الكتل بناءً على متوسط التشابه بالبحث عن مرشحين قد يخفون رموزًا مهمة. في سياق بطول 128K، أفاد المؤلفون بتسريع الانتباه أثناء المعالجة المسبقة يصل إلى 20,65 مرة؛ وعلى Qwen3-32B، بلغت نتيجة RULER مقدار 88,65 مقابل 89,52 للانتباه الكثيف.

RBS-Attention: تسريع الملء المسبق للمطالبات الطويلة عبر البحث عن الكتل الأقل حظًا من الاهتمام

أي جزء من الاستدلال يسرّع الأسلوب

تعالج مرحلة التهيئة المسبقة (prefill) المطالبة قبل بدء التوليد. ويمرّ الانتباه الذاتي الكثيف على كامل الإدخال، لذا يزيد السياق الطويل الحمل الحسابي لهذه المرحلة.

يختار RBS-Attention كتلًا متفرقة لمرحلة التهيئة المسبقة، ويمكنه تقليل التكلفة الحسابية. لكن مركز كتلة ما يحسب متوسط مدى صلة الرموز، وقد يحجب رمزًا مهمًا بين رموز غير ذات صلة. ويسمّي المؤلفون هذا الإخفاق تخفيف المتوسط (mean dilution).

المغزى العملي للأسلوب هو تسريع مرحلة التهيئة المسبقة من دون الاعتماد فقط على متوسط مدى صلة الكتلة بأكملها.

كيف يجري اختيار الكتل

لا يتطلب الأسلوب تدريبًا، ويستخدم فرعين يكمل أحدهما الآخر:

  • الفرع الأساسي يقدّر متوسط مدى صلة الكتلة عبر مركزها.
  • فرع الاستعادة يأخذ في الحسبان نصف القطر الأقصى لكتلة المفاتيح وتوزيعه الذي يعتمد على المطالبة والطبقة والرأس. وبهذا يكشف الكتل التي قد يكون مدى صلتها قد قُدّر بأقل من قيمته.

يطبّق كل فرع عتبة على اختياره على حدة. ثم يدمج الأسلوب القناعين ويتحكم في مساهمة كتل الاستعادة. ويظل التنفيذ عبر FlashAttention منتظمًا ومتفرقًا على مستوى الكتل.

يناسب هذا التصميم السيناريوهات التي قد يؤدي فيها الاختيار القائم على المركز إلى تفويت رموز منفردة ذات صلة، مع ضرورة الحفاظ على التنفيذ المتفرق على مستوى الكتل.

ما النتائج المعروضة بشأن السرعة

أُجريت القياسات على H100 مع سياق بطول 128K. وتورد المقالة التسريعات التالية لنموذج Qwen3-30B-A3B-Instruct-2507-FP8:

المرحلةالتسريع
انتباه التهيئة المسبقة المستقل20.65×
انتباه التهيئة المسبقة في vLLM11.92×
الزمن من البداية إلى أول رمز، من البداية إلى النهاية5.97×

هذه نتائج تخص إعدادًا بعينه. وينبغي النظر إليها بمعزل عن تقييم الجودة، وعدم تعميمها على نماذج أخرى من دون قياسات مناسبة.

ما المعروف عن الجودة والاختبارات

بلغت الدقة الإجمالية لـ RULER مقدار 88.65 على نموذج Qwen3-32B الكثيف. أما الانتباه الكثيف فسُجّلت له نتيجة 89.52.

وأُجري تقييم إضافي للجودة على LongBench-v2 وInfiniteBench وVideo-MME. كما قاست تجارب مساندة مدى الحفاظ على البيانات ذات الصلة، وقارنت بين أدوات الاختيار عند الكثافة نفسها، واختبرت أحجامًا مختلفة للكتل والعتبات ومقادير الذاكرة.

عند اختيار الأسلوب، يجدر تقييم السرعة والجودة كلٌّ على حدة: فنتائج RULER الواردة لا تغني عن الاختبار على المهام المهمة للتطبيق المحدد.

الأسئلة المتكررة

المواد ذات الصلة

جميع المواد
Toollery: اختيار الأدوات لوكلاء LLM من بين عشرات الآلاف من الخيارات دون إعادة تدريب
الأخبار

Toollery: اختيار الأدوات لوكلاء LLM من بين عشرات الآلاف من الخيارات دون إعادة تدريب

ينشئ Toollery فهرسًا للبحث في أوصاف المهارات والأدوات، وعند تلقي طلب يمرّر إلى النموذج مجموعة محدودة فقط من الخيارات المرشحة. في تجارب على مكتبات تضم ما يصل إلى عشرات الآلاف من الوظائف، يتيح هذا النهج الحفاظ على جودة الاختيار عند قيمة top-K ثابتة، مع أن الأثر النهائي يعتمد على نمط عبء العمل والتخزين المؤقت لدى مزوّد الخدمة.

11 نوفمبر 2026
التشخيص التدريجي لوكلاء واجهة المستخدم الرسومية أثناء تحليل لوحات المعلومات: معيار DashAct
البحوث

التشخيص التدريجي لوكلاء واجهة المستخدم الرسومية أثناء تحليل لوحات المعلومات: معيار DashAct

يقدّم DashAct معيارًا مرجعيًا يضم 348 مسارًا راجعها بشر، ويحلّل عمل وكلاء واجهات المستخدم الرسومية مع لوحات التحكم التفاعلية إلى ثلاث مراحل وأربعة شروط بصرية. وتُظهر النتائج مشكلات مستمرة في التنبؤ بالإجراءات وربطها بالأهداف البصرية، فضلًا عن اعتماد استجابة الوكلاء على الدعم السياقي والمكاني.

11 نوفمبر 2026
WILSON: دمج مستويات التكبير وشرائح المريض للتحليل الباثومورفولوجي وإعداد التقارير
الأخبار

WILSON: دمج مستويات التكبير وشرائح المريض للتحليل الباثومورفولوجي وإعداد التقارير

تقدّم هذه الورقة البحثية الأولية نموذج WILSON، وهو نموذج للرؤية واللغة يرمّز صور الشرائح الكاملة وسلاسل العينات لمريض واحد عند درجات تكبير مختلفة، بدلًا من الاقتصار على شريحة منفردة «أفضل». ومن دون ضبط دقيق للمهمة، يتفوّق على نماذج الشرائح المتخصصة والأكبر حجمًا في عدد من المقاييس، مع عبء حوسبي أقل بكثير، كما حصلت أوصافه التشخيصية على تقييمات أعلى من اختصاصيي علم الأمراض.

11 نوفمبر 2026
RBS-Attention: تسريع الملء المسبق للمطالبات الطويلة عبر البحث عن الكتل الأقل حظًا من الاهتمام