التنوّع في المدخلات لا في الاستدلال: مقارنة أساليب تعزيز الاختبار لنماذج اللغة الكبيرة (LLM)

8 نوفمبر 202617 الآراء

تقارن الدراسة مصادر التباين أثناء الاستدلال باستخدام نماذج اللغة الكبيرة (LLM) — إعادة صياغة الطلب، وتغيير طريقة كتابته، وتحويلات الصور — مع تساوي عدد الاستدعاءات. وفي ستة معايير تقييم، أدى الحفاظ على المعنى إلى أكبر تحسن في الدقة، بينما كان التشويش على مستوى الأحرف والاضطرابات المتزامنة في نمطين أقل فائدة.

التنوّع في المدخلات لا في الاستدلال: مقارنة أساليب تعزيز الاختبار لنماذج اللغة الكبيرة (LLM)

مصدران للتنوع: الإدخال والاستدلال

يجمع Test-Time Augmentation (TTA) التنبؤات عبر نسخ محوّلة من بيانات الإدخال. وينشأ التنوع من إعادة صياغة السؤال، أو تغيير طريقة الكتابة، أو تحويل الصور المصاحبة. أما الاتساق الذاتي فيعمل بطريقة مختلفة: إذ يغيّر مسار الاستدلال فقط، مع إعادة استخدام إدخال ثابت.

الطريقةمصدر التنوع
TTAنسخ محوّلة من بيانات الإدخال
الاتساق الذاتيمسار الاستدلال مع إدخال ثابت

يختبر TTA المتانة في مواجهة تغييرات الإدخال. ويختبر الاتساق الذاتي متانة الاستدلال مع إدخال واحد. ويتوقف الاختيار على مصدر التنوع المطلوب للمهمة.

لماذا يغيّر تساوي عدد استدعاءات الاستدلال الاستنتاج

قارن المؤلفون بين الخيارات على ستة معايير قياس. وكان عدد استدعاءات الاستدلال متساويًا. ويفصل هذا الشرط أثر مصدر التنوع عن أثر الحسابات الإضافية.

  • ستة معايير قياس؛
  • عدد متساوٍ من الاستدعاءات؛
  • مقارنة المصادر، لا الأحجام.

يفيد المؤلفون بأن مصدر التنوع أهم من كميته. والخلاصة عند الاختيار: ينبغي مقارنة الطرق مع تساوي عدد الاستدعاءات. وإلا فقد يُعزى تحسن الدقة إلى المصدر بدلًا من الاستدعاءات الإضافية.

إعادة الصياغة: تحسّن وذروة مبكرة

حققت إعادة صياغة الإدخال مع الحفاظ على معناه أكبر تحسّن في الدقة. وبلغ التحسّن +1.80 نقطة مئوية مقارنة باستدعاء واحد. وتحققت الدقة القصوى بأقل عدد من العينات.

بالنسبة إلى النماذج متوسطة المستوى، مثل Claude Haiku، كان تغيير صياغة السؤال استخدامًا أكثر فاعلية لاستدعاء الاستدلال من تغيير مسار الاستدلال.

الخلاصة العملية: إذا كان التحويل يحافظ على المعنى، فإن إعادة الصياغة هي الخيار الأول لـ TTA. فهي تحقق تحسّنًا وذروة مبكرة.

الضوضاء على مستوى الأحرف: اختلافات كثيرة وفائدة قليلة

أدت الضوضاء على مستوى الأحرف إلى مزيد من الاختلافات بين الإجابات: 37.8% مقابل 27.4%. وكان تحسّن الدقة أقل. ولا يعني التباين الكبير في الإجابات فائدةً لعملية التجميع.

الاختلافات الناجمة عن إفساد المعنى خاطئة. ولا توفر هذه الاختلافات إشارة مفيدة للتجميع.

الخلاصة العملية: قيّم الدقة، لا نسبة الاختلافات وحدها. فالضوضاء على مستوى الأحرف لا تحل محل التحويلات التي تحافظ على المعنى.

الاضطراب المزدوج: متى يكون الجمع أسوأ

أدى إحداث اضطراب في نمطين معًا إلى نتيجة أدنى من المستوى الأساسي لاستدعاء واحد. ولا يضمن الجمع بين التحويلات تحقيق مكسب.

  • إحداث اضطراب في نمطين معًا؛
  • نتيجة أدنى من المستوى الأساسي لاستدعاء واحد؛
  • اختبار الجمع على نحو منفصل.

الخلاصة العملية: لا تجمع بين الأنماط إلا بعد إجراء مقارنة منفصلة. وإلا فقد ينخفض أداء TTA عن مستوى استدعاء واحد.

الاختيار العملي للطريقة

تستند معايير الاختيار إلى مصدر التنوع، والحفاظ على المعنى، وتساوي عدد الاستدعاءات.

المهمةالطريقة
اختبار المتانة تجاه الصياغةTTA مع إعادة الصياغة
اختبار متانة الاستدلال مع الإدخال نفسهالاتساق الذاتي
تقييم الحساسية لطريقة الكتابةTTA مع ضوضاء على مستوى الأحرف
الجمع بين الأنماطبعد مقارنة منفصلة فقط

المعيار العملي: اختر مصدر التنوع بما يناسب المهمة. ولتحسين الدقة باستخدام TTA، تحقق إعادة الصياغة أكبر أثر مقاس. أما لاختبار الاستدلال مع الإدخال نفسه، فيظل الاتساق الذاتي هو الخيار المناسب.

الأسئلة المتكررة

المواد ذات الصلة

جميع المواد
STAR: التطبيع التكيفي للسياق الزمني ومخطط الخدمات لإدارة الحوادث من البداية إلى النهاية
البحوث

STAR: التطبيع التكيفي للسياق الزمني ومخطط الخدمات لإدارة الحوادث من البداية إلى النهاية

يُدرّب إطار STAR التمثيلات على المقاييس والسجلات وآثار التتبّع، مستخدمًا تطبيعًا قابلًا للتعلّم يراعي الديناميكيات الزمنية متعددة المقاييس وبنية التبعيات بين الخدمات. وعلى مجموعتي بيانات حقيقيتين، يحقق هذا النهج تحسنًا مستدامًا في جودة اكتشاف الحالات الشاذة وترتيب الأعطال وتحديد الأسباب الجذرية مقارنةً بأحدث الأساليب الأساسية.

10 نوفمبر 2026
ذاكرة خزان تشيرن-سايمونز: ديناميكيات الترابط الذاتية ونقل الكثافة
الأخبار

ذاكرة خزان تشيرن-سايمونز: ديناميكيات الترابط الذاتية ونقل الكثافة

تتناول المقالة كيفية احتفاظ الخزان بتاريخ الإشارات الواردة في كلٍّ من توزيع الكثافة ودرجات الحرية الهندسية. وتُظهر مقارنة أربعة آليات أن التيار ينشئ مكوّنًا منفصلًا من مكوّنات الاتصال، يغيّر استجابة الكثافة لاحقًا، وأن أخذ جميع السمات المقاسة في الحسبان يحقق تحسنًا طفيفًا في فك ترميز ترتيب النبضات.

10 نوفمبر 2026
التحقق من المرشحين أغلى من توليدهم: طُعوم لمواجهة البحث عن الثغرات باستخدام النماذج اللغوية الكبيرة
الأخبار

التحقق من المرشحين أغلى من توليدهم: طُعوم لمواجهة البحث عن الثغرات باستخدام النماذج اللغوية الكبيرة

يتناول العمل عدم التكافؤ في تكلفة البحث الوكيلي عن العيوب: فتوليد النسخ رخيص، بينما يتطلب تأكيدها عبر تحليل إمكانية الوصول والتنفيذ وإثبات المفهوم الجزء الأكبر من الميزانية، ما يجعل التحقق هدفًا دفاعيًا مستقلًا. وقد خفّض RedHerring المقترح — وهو طُعم قابل للتكيّف مع المستودع ومزوّد بشهادة مخفية — عدد الثغرات الحقيقية المكتشفة بنسبة 38,7–60,4% في 33 مشروعًا ضمن OSS-Fuzz، مع تساوي التكاليف؛ وحتى بعد تحذير الوكيل، ظل الانخفاض عند 37,2%.

9 نوفمبر 2026
التنوّع في المدخلات لا في الاستدلال: مقارنة أساليب تعزيز الاختبار لنماذج اللغة الكبيرة (LLM)