سوان: التحسين المتدرج للتفضيلات ضد الرفض المفرط في نماذج LLM المفتوحة

9 أكتوبر 20262 الآراء

يقترح المؤلفون خوارزمية Suan التي تحدد هدف التدريب مباشرة على مستوى التدرجات، متجاوزةً الاستدلال التبايني المعتاد، مما يمنح ديناميكية تدريب أكثر قابلية للتنبؤ وقابلية للتفسير. ووفقًا لنتائج الاختبارات على مجموعة من المعايير القياسية، توفر الطريقة حماية معززة دون الخسارة النموذجية في فائدة الإجابات التي تتسم بها النماذج المفتوحة.

سوان: التحسين المتدرج للتفضيلات ضد الرفض المفرط في نماذج LLM المفتوحة

المهمة الأمنية في النماذج المفتوحة

يُعدّ تضمين آليات حماية موثوقة في النماذج اللغوية الكبيرة أمرًا ضروريًا لتقديم ردود مفيدة وغير ضارة.

  • تُظهر الأنظمة الاحتكارية تحكّمًا أمنيًا موثوقًا.
  • تبقى أساليبها ومقايضاتها غير معلنة في الغالب.
  • يظل تحقيق أمان مماثل في النماذج المفتوحة مشكلة مستمرة.
  • غالبًا ما تعاني النسخ المُدرَّبة لاحقًا من الرفض المفرط وتراجع الجودة العامة.

Suan — خوارزمية جديدة لتحسين التفضيلات. صُمّمت للتغلب على هذه العيوب. المعيار العملي: إذا رفض النموذج المفتوح أكثر من اللازم وفقد جودته، فلا بد من طريقة تصحّح مواءمة الأمان دون فقدان الفائدة.

التحسين المباشر بالتدرّج

تصوغ Suan هدف التحسين مباشرة على مستوى التدرّج. يتجاوز هذا النهج الاستدلال التغايري القياسي. ونتيجة لذلك يصبح التدريب أكثر قابلية للتفسير وأكثر استقرارًا.

الجانبما تغيّره Suan مقارنةً بالنهج القياسي
صياغة الهدفمستوى التدرّج المباشر بدلًا من الاستدلال التغايري القياسي
ديناميكية التدريبأكثر قابلية للتفسير وأكثر استقرارًا

المعيار في الاختيار هو النظر إلى مكان صياغة الهدف. يمنح مستوى التدرّج المباشر ديناميكية تدريب أكثر شفافية.

التقييم والنتائج

خضعت Suan لتقييمات واسعة. وهي تشمل مجموعة متنوعة من الأساليب الأساسية والاختبارات المرجعية المنافسة.

  • تحقق الخوارزمية مواءمة أمنية ممتازة.
  • تحافظ الخوارزمية بالكامل على فائدة الردود.

المعيار العملي: مقارنة الأمان والفائدة معًا. التقييم بالرفض وحده لا يُظهر الجودة العامة. والتقييم بالجودة وحدها لا يُظهر الحماية.

البيانات الوصفية

عنوان الورقة «Suan: Rectifying Direct Preference Safety Alignment in Large Language Models».

  • المؤلفون — Oleksandr Cherednichenko, Roman Klypa.
  • arXiv:2609.08634 (cs).
  • تاريخ التقديم — 8 سبتمبر 2026.
  • التصنيفات: Machine Learning (cs.LG); Artificial Intelligence (cs.AI).
  • DOI: https://doi.org/10.48550/arXiv.2609.08634 (pending registration).
  • سجل التقديم: من Oleksandr Cherednichenko؛ [v1] Tue, 8 Sep 2026 12:04:38 UTC (426 KB).
  • Cite as arXiv:2609.08634 [cs.LG] (or arXiv:2609.08634v1 [cs.LG] for this version).

المعيار العملي: للاستشهاد استخدم معرّف arXiv و DOI. لا يزال DOI قيد التسجيل.

الأسئلة المتكررة

المواد ذات الصلة

جميع المواد
سوان: التحسين المتدرج للتفضيلات ضد الرفض المفرط في نماذج LLM المفتوحة