يساعد COPEX على فصل ثغرات النموذج عن نقاط الضعف في البنية التحتية لـ MCP

12 نوفمبر 20266 الآراء

يقيس معيارٌ مضبوط اختيارَ النموذج اللغوي للأدوات فقط، مع تثبيت إطار عمل الوكيل، عبر 125 سيناريو هجوم من خلال أربع قنوات MCP. وفي 3,375 اختبارًا على تسعة نماذج، بلغ متوسط معدل نجاح الهجمات 64.4%، بينما خفّض التحقق المشترك من المدخلات والسياق هذا المعدل إلى النصف تقريبًا.

يساعد COPEX على فصل ثغرات النموذج عن نقاط الضعف في البنية التحتية لـ MCP

غالبًا ما تقيّم المعايير المرجعية الحالية وكلاءً منشورين. وهي تخلط بين قابلية النموذج للتأثر وآليات الحماية والتنسيق والقدرة العامة على إنجاز المهام. لذلك يصعب معرفة موضع الضعف: في النموذج أم في الحزمة التقنية.

يعزل COPEX النموذج بوصفه عميل MCP. وتظل حزمة الوكيل المحيطة ثابتة، بينما يتغير النموذج الذي يختار الأدوات فقط. وبهذا يفصل هذا الاختبار بين اختيار الأدوات وعمل بقية البنية التحتية.

المعيار العملي: تثبيت الحزمة التقنية عند تقييم قابلية النموذج للتأثر. لا يحل COPEX محل تقييم الوكيل المنشور.

كيف يعمل المعيار المرجعي

يغطي COPEX 25 نوعًا من الهجمات، ممثلة في 125 سيناريو. وتُوزع الهجمات على أربعة أسطح إدخال: النموذج/الوكيل، والعميل، والخادم/الأداة، وطبقة النقل. ويتيح هذا التغطية اختبار طبقات مختلفة من نظام MCP.

يثبّت المعيار المرجعي حزمة الوكيل المحيطة. ولا يتغير سوى النموذج الذي يختار الأدوات. لذلك تعكس نتيجة الاختبار سلوك النموذج في بيئة محددة.

المعيار العملي: تغطية أسطح الإدخال في السيناريوهات.

ما الذي تكشفه الاختبارات

في 3,375 اختبارًا على تسعة نماذج، بلغ متوسط معدل نجاح الهجمات 64.4%. وتراوحت المتوسطات بحسب أسطح الإدخال بين 58.3% و71.4%.

تنجح بعض هجمات العميل وطبقة النقل جزئيًا خارج نطاق رصد النموذج أو تحكمه. ويتيح ذلك الفصل بين تعرض النظام للهجمات وقابلية النموذج للتأثر.

المعيار العملي: مراعاة سطح الهجوم عند قراءة نسبة النجاح. فقد يُعزى جزء من النجاح إلى ضعف البنية التحتية، لا إلى النموذج.

الحماية على مستوى الإدخال

أدى الفحص المشترك للمدخلات والسياق إلى خفض نجاح الهجمات بنسبة 49.6%. وقد أُجري القياس مقارنةً بوضع عدم الحماية على مجموعة فرعية تضم ثماني هجمات.

تعمل الحماية عند الإدخال بوصفها طبقة منفصلة. وهي تغير نتائج الهجمات، لكنها لا تلغي تقييم النموذج والبنية التحتية.

المعيار العملي: قياس أثر الحماية على المجموعة الفرعية نفسها من الهجمات.

كيفية الاستفادة منه عند اختيار نموذج

يوفر COPEX مقارنةً بين النماذج في ظل حزمة تقنية ثابتة. ويبين هذا الاختبار كيفية اختيار النموذج للأدوات، لا كيفية إنجاز الوكيل بأكمله للمهمة.

تفيد أربعة معايير في اختيار النموذج:

  • تثبيت الحزمة التقنية عند المقارنة؛
  • تغطية أسطح الإدخال؛
  • احتساب الهجمات الخارجة عن تحكم النموذج على نحو منفصل؛
  • اختبار الحماية عبر فحص المدخلات والسياق.
المعيارتقييم الوكيل المنشورالتقييم المعزول للنموذج
ما الذي يُقيّمقابلية النموذج للتأثر إلى جانب الحماية والتنسيق والقدرة على إنجاز المهاماختيار النموذج للأدوات في ظل حزمة تقنية ثابتة
ما الذي يتغيرحزمة الوكيل بأكملهاالنموذج فقط
كيفية قراءة النتيجةيختلط أثر النموذج والبنية التحتيةالبنية التحتية ثابتة، ويظهر إسهام النموذج
ما الغرض المناسباعتماد النظام بأكملهمقارنة النماذج والبحث عن مواطن ضعف البنية التحتية

المعيار العملي: اختبار معزول لمقارنة النماذج، واختبار الوكيل المنشور لاعتماد النظام.

حالة النشر

مقالة arXiv:2610.04378: قُدمت النسخة v1 في 3 أكتوبر 2026. وآخر تحرير للنسخة v2 كان في 17 أكتوبر 2026.

قُبل العمل كملصق في ورشة NeurIPS 2026 Workshop on Agents in the Wild.

المعيار العملي: تضمين رقم النسخة والتاريخ في الإشارة إلى الأرقام.

الأسئلة المتكررة

المواد ذات الصلة

جميع المواد
التصحيح الاحتمالي لتنبؤات الأمواج: يربط BridgeCast النماذج الفيزيائية بإعادة التحليل عبر المطابقة المتدفقة
البحوث

التصحيح الاحتمالي لتنبؤات الأمواج: يربط BridgeCast النماذج الفيزيائية بإعادة التحليل عبر المطابقة المتدفقة

تُقدَّم طريقة هجينة تحوّل مخرجات النماذج الفيزيائية للأمواج إلى حقول قريبة من إعادة التحليل، وذلك باستخدام المطابقة التدفقية الشرطية وبنية المحوّلات وسمات الغلاف الجوي الخارجية. ويشير المؤلفون إلى تفوّق ثابت على أفضل الحلول الأساسية السابقة عبر مدد استباقية مختلفة ومناطق متعددة.

12 نوفمبر 2026
RLTLDR: يستخلص الوكيل بنفسه درسًا من الإخفاق ويأخذه في الحسبان في المحاولة التالية
الأخبار

RLTLDR: يستخلص الوكيل بنفسه درسًا من الإخفاق ويأخذه في الحسبان في المحاولة التالية

بعد الإخفاق، يُعرض على الوكيل تنبيه المُتحقِّق ويُطلب منه اختزاله إلى تلميح واحد؛ ويجري التدريب على أزواج «المهمة — التلميح»، من دون معلّم أو حلول نموذجية. في مجموعات البيانات الصعبة للبرمجة واستخدام الأدوات، ترفع الطريقة معدل Pass@1 من 0–1% لدى GRPO إلى 12–31%، ويأتي الإسهام الحاسم تحديدًا من استيعاب هذا الزوج.

12 نوفمبر 2026
OpenCollab: تنسيق قابل للبرمجة للوكلاء، وبيئة تنفيذ خاضعة للرقابة، ومقياس للامتثال للوائح
الأخبار

OpenCollab: تنسيق قابل للبرمجة للوكلاء، وبيئة تنفيذ خاضعة للرقابة، ومقياس للامتثال للوائح

يجمع إطار العمل بين تحديد بنية تفاعل الوكلاء، وبيئة مشتركة للتجارب، والتتبّع التفصيلي للأحداث، فيما يعكس مقياس Adherence المستحدث مدى توافق التنفيذ الفعلي مع المخطط المعلن. في الاختبارات المعيارية، يرتقي إعداد Duo إلى مستوى جديد من SOTA، بينما يتميز البديل أحادي الوكيل بأقل استهلاك للرموز.

11 نوفمبر 2026
يساعد COPEX على فصل ثغرات النموذج عن نقاط الضعف في البنية التحتية لـ MCP