تدقيق خصوصية النماذج مفتوحة الأوزان
الأوزان العامة مريحة، لكنها تشكّل خطرًا خفيًا. يمكن لشركة أن تأخذ نموذجًا مفتوح الأوزان وتعيد تدريبه على قاعدة بيانات داخلية: مراسلات، بيانات طبية، أو مستندات مؤسسية. عادةً لا يعرف المستخدم أي السجلات تحديدًا دخلت في التدريب، وبالنسبة للجهات التنظيمية والعملاء فهذه مسألة جوهرية. اختبار «العضوية» في مجموعة التدريب — استدلال العضوية — يجيب على هذا السؤال تمامًا: هل يمكن من خلال سلوك النموذج معرفة أن نصًا معينًا استُخدم أثناء التكييف؟
تتعقد المهمة لأن لدينا عادةً نقطة تفتيش واحدة بعد إعادة التدريب والنسخة المفتوحة من النموذج قبلها. بمقارنة ردود فعل نقطتي التفتيش على المقطع نفسه، يمكن محاولة فصل تأثير إعادة التدريب عن السلوك العام للنموذج.
خصائص نماذج اللغة الانتشارية
نماذج اللغة الكلاسيكية تولّد النص رمزًا تلو الآخر، من اليسار إلى اليمين. نماذج اللغة الانتشارية المنفصلة (dLLM) مصممة بشكل مختلف: فهي قادرة على استعادة عدة مواضع مموّهة في وقت واحد. بدلًا من التنبؤات المتتابعة، يستقبل النموذج نصًا يحتوي على مجموعة عشوائية من الأقنعة ويخرج احتمالات لجميع «الفجوات» في تمريرة أمامية واحدة.
هذه القدرة تجعل نماذج dLLM مثيرة للاهتمام بشكل خاص لتدقيق الخصوصية. إذا أردنا التحقق مما إذا كان النموذج يتذكر مقطعًا معينًا، يمكننا إخفاء جزء من الرموز ومراقبة رد الفعل. لكن السؤال هو: أي المواضع يجب إخفاؤها وكيف نفسّر الإجابة؟
لماذا لا يعمل متوسط الأقنعة البسيط
الحدس الأول هو تجربة العديد من الأقنعة العشوائية المختلفة ومتوسط خطأ إعادة البناء. هذه هي بالضبط طريقة عمل نهج SAMA القديم: يُشغَّل النموذج على عشرات المتغيرات العشوائية، ثم يُحسب متوسط الإشارة.
لهذا الحل عيبان. أولًا، الأقنعة العشوائية غالبًا ما تلتقط مواضع «مملة» يتنبأ بها النموذج بنفس الطريقة حتى دون إعادة تدريب — تغرق الإشارة المفيدة في الضوضاء. ثانيًا، كل تشغيل يكلّف موارد: لعينة واحدة نحتاج عشرات التمريرات عبر النموذج، وهو ما يتحول في نطاق مجموعة بيانات كبيرة إلى عملية مكلفة. نحتاج طريقة لاختيار الأقنعة بشكل مدروس، وليس عشوائيًا.
الثقة تشير إلى أين نُخفي
اقترح مؤلفو المسودة الجديدة طريقة JUMP (التنقيب الموجه بالأقنعة عبر الثقة المشتركة). الفكرة هي استخدام نموذج مرجعي — نقطة تفتيش قبل إعادة التدريب — كـ«كاشف كذب».
أولًا، يُشغَّل النموذج المرجعي على النص الأصلي وتُحدَّد المواضع التي يكون فيها الأقل ثقة. يُفترض أن هذه الأماكن تحديدًا هي الأكثر تغيرًا أثناء إعادة التدريب: إذا كانت المعلومات الخاصة تتدفق عبر هذه النقاط، كان على النموذج تعلمها. ثم تُموَّه هذه المواضع منخفضة الثقة جميعها معًا، ويعيد النموذج المستهدف بناءها في طلب واحد.
بعد ذلك، تُقارَن الفجوة بين عمليات إعادة البناء للنموذج المستهدف والنموذج المرجعي. لتجنب الانحرافات العشوائية، يُطبَّق اقتطاع: فقط الاختلافات التي تتجاوز عتبة معينة تدخل في التجميع. هذه الفجوة «المقتطعة» تفصل الإشارة الحقيقية عن الضوضاء بشكل أفضل، والتمويه المشترك للمواضع المعلوماتية يوفّر الحسابات.
النتائج: تمريرات أقل — دقة أعلى
أجرى المؤلفون اختبارهم على معيار MIMIR، الذي يغطي ستة مجالات نصية. كان النموذجان الخاضعان للتجربة من نماذج الانتشار مفتوحة الأوزان: LLaDA-8B-Base وDream-v0-Base-7B.
في المتوسط عبر المجالات، ارتفع مقياس ROC-AUC لـLLaDA من 0.819 إلى 0.902، ولـDream من 0.851 إلى 0.942. هذه زيادة ملحوظة في دقة الإسناد. في الوقت نفسه، يستهلك JUMP ثلاث تمريرات نموذج فقط للعينة، بينما يتطلب SAMA 32 تمريرة. بعبارة أخرى، الطريقة ليست أدق فحسب، بل أرخص بحوالي عشرة أضعاف من حيث عدد الاستدلالات.
الأهمية العملية
يُظهر النهج المقترح أنه لتدقيق النماذج الانتشارية المعاد تدريبها، لا حاجة لتجربة أقنعة عمياء. يكفي سؤال النموذج المرجعي عن مواضع نقص ثقته، وتوجيه الفحص بدقة إلى تلك المناطق. وهذا يوفر أداة يمكن استخدامها عند إصدار تحديثات النماذج مفتوحة الأوزان وللتحقق من الامتثال لمتطلبات البيانات الشخصية.
العمل لا يزال في مرحلة المسودة — 22 صفحة، النسخة الحالية v2 بتاريخ 18 أغسطس 2026. ومع ذلك، فإن صياغة المشكلة نفسها والنتائج القوية تسمحان بتوقع استمرار للطريقة: تكييفها مع أنواع أخرى من البنى الانتشارية أو مقاومة سيناريوهات إعادة تدريب أكثر عدوانية.
