المقدمة: لماذا يُعد اختراق الحماية (الجيلبريك) مشكلة
تحاول نماذج اللغة الحديثة رفض الطلبات الضارة أو الخطيرة، لكن لا توجد حماية مثالية. تبتكر هجمات الجيلبريك مطالبات (برومبتات) تلتف حول هذه القيود: تطلب تخيل سيناريو افتراضيًا، أو تبديل الدور، أو إعادة صياغة المهمة بطريقة "آمنة"، وهكذا. يريد الباحثون والمدافعون فهم مدى خطورة هذه الهجمات في الواقع.
تعمل معظم الهجمات في وضع الصندوق الأسود: لا يملك المخترق وصولًا إلى أوزان النموذج، ولا يمكنه تحليل آلياته الداخلية. لا يوجد سوى واجهة برمجة تطبيقات (API) يمكن إرسال الطلبات إليها وتلقي الردود. لذلك، تتلخص كل جهود المهاجم في اختيار النص. لتقييم جودة الهجوم، لا يكفي معرفة ما إذا تم تجاوز الحماية أم لا، بل يجب أيضًا معرفة التكلفة.
عادةً ما يُستخدم مقياس بسيط — وهو نسبة المحاولات الناجحة (ASR). لكنه لا يُظهر عدد الطلبات التي كان يجب إرسالها. وفي الواقع، غالبًا ما يكون عدد الاستدعاءات للنموذج هو القيد الرئيسي عمليًا: كلما زادت الطلبات، زادت فرصة اكتشاف الأمر، وزادت تكلفة الهجوم من حيث الوقت والمال.
مقياس ASR كمقياس خادع
لنتخيل طريقتين للهجوم. الأولى تجرب مئات الاختلافات من المطالبات حتى ينجح أحدها. الثانية تستخدم قالبًا مُعدًا مسبقًا بدقة وتحصل على النتيجة من ثلاث محاولات. إذا كانت نسبة النجاح متطابقة لكليهما، فستبدوان متكافئتين عند النظر إلى ASR. لكن في الظروف الحقيقية، الطريقة الثانية أكثر خطورة بوضوح: فهي أسرع وأرخص وتترك آثارًا أقل.
لهذا السبب، فإن المقارنة بـ ASR فقط تشبه منافسة بين رماة، حيث يطلق أحدهما النار من ثلاثة أمتار والآخر من ثلاثين مترًا، لكن الفوز يُمنح بناءً على عدد الإصابات. دون مراعاة الظروف، تكون النتيجة بلا معنى. بالنسبة للجيلبريك، يجب أن يكون هذا الشرط هو ميزانية استدعاءات النموذج.
Fair-ASR: حساب الاستدعاءات
في دراسة حديثة على arXiv، اقترح الباحثون بروتوكول Fair-ASR. جوهره هو مقارنة الهجمات عند نفس الحد الأقصى لعدد الاستدعاءات المستهدفة. الاستدعاء المستهدف هو طلب مباشر للنموذج المُهاجَم: أرسلنا المطالبة، حصلنا على الرد. هذا القيد سهل التحكم، وهو موحد لجميع الطرق، ولا يتطلب معرفة داخلية بالنموذج.
لماذا هذا مهم؟ تحاول بعض المقاييس مراعاة التعقيد الحسابي، مثل FLOPS. لكن بالنسبة للنماذج المغلقة والمملوكة، هذه التقديرات غير دقيقة. أما عدد الاستدعاءات فهو مؤشر مباشر وواضح. إذا نجح هجوم في 10 طلبات، بينما يحتاج آخر إلى 1000، فعند ميزانية 10، لن يحدث الهجوم الثاني أصلًا.
في الوقت نفسه، يقترح الباحثون مراقبة ما يسمى باستدعاءات المهاجم بشكل منفصل — وهي الطلبات إلى الأدوات المساعدة، مثل نموذج لغوي آخر يولد المطالبات. هذا يسمح برؤية الصورة الكاملة: أولًا، عدد الطلبات الموجهة للنموذج المستهدف، وثانيًا، الموارد الإضافية المطلوبة.
ما الذي تغير عند المقارنة العادلة
أعاد المؤلفون تقييم 11 هجومًا معروفًا باستخدام Fair-ASR واكتشفوا أن ترتيبهم يتغير بشكل كبير اعتمادًا على الميزانية المخصصة. الهجوم الذي يبدو قويًا عند مئة استدعاء قد يكون ضعيفًا عند خمسة، والعكس صحيح. هذا يعني أن الاستنتاجات القديمة حول الفعالية كانت غير مكتملة على الأقل.
كان المفاجئ أيضًا أن الطرق البسيطة لم تختفِ. الاضطرابات العشوائية للمطالبات والقالب المكتوبة يدويًا تظل تنافسية جدًا عندما يكون الوصول إلى النموذج المستهدف محدودًا. فهي لا تتطلب موارد حسابية كبيرة وتعمل بشكل شبه فوري.
أما الهجمات المدارة بواسطة نماذج اللغة الكبيرة (LLM)، حيث يبتكر النموذج المساعد نفسه طرق الالتفاف، فقد أظهرت أداءً أسوأ. فهي تستهلك الكثير من الاستدعاءات لكل من النموذج المستهدف وتوليدها الخاص. لم يكن أي من الهجمات المختبرة من هذا النوع فعالًا في كلا المؤشرين في نفس الوقت. إما أن النتيجة تتحقق بميزانية كبيرة، أو أن الهجوم مكلف جدًا في الاستدعاءات المساعدة.
ReCode: هجوم فعال مستوحى من الدراسة
هذه الفجوة بين الفعالية المرجوة والتكاليف الحقيقية دفعت الباحثين إلى إنشاء منهجية خاصة بهم — الهجوم التركيبي ReCode. يستخدم إعادة كتابة مزيلة للحساسية: تتم إعادة صياغة الطلب الضار الأصلي بحيث يبدو محايدًا ولا يستدعي ردود فعل دفاعية. ثم يتم استخدام بدائيتين بسيطتين ورخيصتين أثبتتا جدارتهما خلال إعادة تقييم Fair-ASR.
النتائج تبدو قوية. بميزانية 20 استدعاءًا مستهدفًا فقط، يحقق ReCode نجاحًا بنسبة 85% على GPT-5، وفي المتوسط يُنفق فقط 7.19 استدعاءًا للأدوات المساعدة لكل طلب. للمقارنة، فإن العديد من الهجمات الأخرى تكون عديمة الفائدة عمليًا عند هذه الميزانية المحدودة. أما تلك التي يمكنها التباهي بمؤشرات مماثلة، فعادةً ما تتطلب موارد مساعدة أكثر بعدة مرات.
الاستنتاجات
تعطي الدراسة إشارة واضحة: لم يعد من الممكن تقييم الهجمات فقط بنسبة المحاولات الناجحة. هناك حاجة إلى نقطة مرجعية موحدة، وعدد الاستدعاءات للنموذج المستهدف هو المقياس الأكثر شفافية وعالمية من بين المتاح. يقدم Fair-ASR هذا النهج بالضبط، وقد يصبح معيارًا للمقارنات المستقبلية.
بالنسبة لأولئك الذين يحمون النماذج، هناك استنتاج عملي مهم: لا يجب التركيز على الهجمات المعقدة التي يستخدم فيها الذكاء الاصطناعي دور المهاجم. الطرق البسيطة والرخيصة — الاضطرابات العشوائية، القوالب — تظل تهديدًا حقيقيًا عند الموارد المحدودة. إن مقاومتها للحمايات هي ما يجب اختباره أولًا. الهجمات المعقدة المدارة بواسطة LLM قد تكون مثيرة في التقارير المخبرية، لكنها في الظروف الحقيقية مكلفة جدًا وليست خطيرة كما تبدو.
