طريقة Genesis Steering: توجيه التنشيطات باستخدام البيانات المستخدمة في الضبط الدقيق

16 نوفمبر 20261 الآراء

تستخلص الطريقة متجه التحكم من أمثلة متباينة موجودة في بيانات الضبط الدقيق، وعند تعذّر الوصول إليها، تنتقي عينات التدريب المرجّحة عبر استدلال العضوية وتكوّن مجموعة بيانات بديلة. يصف الجزء النظري الإزاحة المثلى نحو حدّ القرار والتقدير بالاستناد إلى البيانات البديلة؛ وتُظهر البيانات الداخلية لـ Tülu-3-8B أثرًا أوضح تجريبيًا من المجموعات الخارجية، في حين أن فائدة البيانات البديلة المستخلصة عبر MIA على Llama-3.1-8B-Instruct محدودة بسبب نسبة إزاحات الاتجاه.

طريقة Genesis Steering: توجيه التنشيطات باستخدام البيانات المستخدمة في الضبط الدقيق

ما هو Genesis Steering

يتحكم توجيه التنشيط (Activation steering) في نماذج اللغة الكبيرة أثناء الاستدلال. وتعتمد فعالية هذه الطريقة على اختيار البيانات المرجعية. ينشئ Genesis steering متجه Genesis من أمثلة متباينة مأخوذة من بيانات الضبط الدقيق الخاصة بالنموذج.

إذا لم تكن هذه البيانات متاحة، تستخدم الطريقة أساليب من أدبيات استدلال العضوية (membership inference). تحدد هذه الأساليب أمثلة يُرجح أنها استُخدمت في التدريب، وتُنشئ مجموعة بيانات بديلة.

قُدّمت ورقة «Genesis Steering: Better Activation Steering Through Training Data» في 13 Oct 2026 (v1). وكان آخر تحديث في 19 Oct 2026 (v2). المؤلفون: Tora Bodin, Eric Aubinais, Ilaria Torre, Chih-Hong Cheng.

الخلاصة: يربط Genesis steering التوجيه ببيانات الضبط الدقيق. والمعلمة الأساسية هي مصدر الأمثلة المتباينة.

كيفية إنشاء متجه Genesis

تأخذ الطريقة أمثلة متباينة من بيانات الضبط الدقيق. وبناءً عليها، يُنشأ متجه اتجاه. ثم يُطبّق هذا المتجه على النموذج أثناء الاستدلال.

يقدّم المؤلفون نتيجتين نظريتين. الأولى تتعلق بالإزاحة المثلى نحو حدّ القرار. والثانية تتعلق بتقليل الانحياز عند التقييم باستخدام بيانات بديلة.

الخلاصة: تحدد النظرية إرشادات للإزاحة. وتعتمد جودة المتجه على اختيار الأمثلة المتباينة.

البيانات البديلة عبر استدلال العضوية

عندما لا تتوفر بيانات الضبط الدقيق، تلجأ الطريقة إلى استدلال العضوية (membership inference). ويبحث هذا الأسلوب عن أمثلة يُرجح أنها استُخدمت في التدريب. ثم تُجمع الأمثلة التي عُثر عليها في مجموعة بيانات بديلة.

تُستخدم مجموعة البيانات البديلة كبديل للبيانات الأصلية عند إنشاء متجه Genesis. وتستخدم الطريقة الأمثلة التي عُثر عليها بوصفها بيانات مرجعية. والفرق الوحيد هو مصدر الأمثلة.

الخلاصة: توسّع مجموعة البيانات البديلة نطاق تطبيق الطريقة. ومعيار استخدامها هو عدم توفر بيانات الضبط الدقيق.

ما الذي أظهرته التقييمات على النماذج

أُجريت التقييمات على Tülu-3-8B وLlama-3.1-8B-Instruct. تتوفر بيانات الضبط الدقيق لـTülu-3-8B للعامة. واستُخدم Llama-3.1-8B-Instruct نموذجًا ضابطًا.

وفّرت بيانات السلامة من مزيج التدريب الخاص بـTülu-3-8B توجيهًا أقوى من مجموعات البيانات الخارجية. وينطبق ذلك على كلا النموذجين.

في Tülu-3-8B، توافقت تقييمات العضوية إلى حد كبير عند تحديد أمثلة التدريب. وقد حققت المتجهات المستندة إلى الأمثلة ذات أعلى التقييمات نتائج مماثلة للعينات الفرعية العشوائية بالحجم نفسه.

تحدد نتائج Llama-3.1-8B-Instruct شرطًا لتطبيق MIA. لن تحقق الطريقة أثرًا إيجابيًا إلا إذا كان متوسط إزاحة الاتجاه لبيانات المجال الداخلي التي رشّحتها MIA أقل بكثير من الإزاحة لبيانات OoD.

الخلاصة: توفر بيانات الضبط الدقيق الخاصة بالنموذج توجيهًا أقوى من مجموعات البيانات الخارجية. ويتطلب استخدام MIA التحقق من شرط إزاحة الاتجاه.

معايير عملية للاختيار

يعتمد اختيار الطريقة على إمكانية الوصول إلى بيانات الضبط الدقيق. ويربط الجدول أدناه بين الحالة والإجراء والتحقق.

الحالةالإجراءالتحقق
بيانات الضبط الدقيق متاحةإنشاء متجه Genesis استنادًا إلى أمثلة متباينة من هذه البياناتالمقارنة مع مجموعات البيانات الخارجية
البيانات غير متاحةالبحث عن أمثلة يُرجح أنها استُخدمت في التدريب عبر استدلال العضوية، وتجميع مجموعة بيانات بديلةالتحقق من شرط متوسط إزاحة الاتجاه
جُمعت مجموعة بيانات بديلةإنشاء متجهات استنادًا إلى الأمثلة ذات أعلى التقييماتالمقارنة مع عينات فرعية عشوائية بالحجم نفسه

الخلاصة: يُختار Genesis steering بحسب مدى توفر بيانات الضبط الدقيق. وبالنسبة إلى مجموعة البيانات البديلة، يُتحقق من شرط الإزاحة وتُجرى مقارنة مع عينات فرعية عشوائية.

الأسئلة المتكررة

المواد ذات الصلة

جميع المواد
التعلّم ضمن السياق للبيانات الجدولية باستخدام خبراء متفرقين: OrionMoE-Small-v1.0 المدمج
الأخبار

التعلّم ضمن السياق للبيانات الجدولية باستخدام خبراء متفرقين: OrionMoE-Small-v1.0 المدمج

نموذج أساسي مدمج للمهام الجدولية يتنبأ بمشاهدات جديدة استنادًا إلى جدول مرجعي مُصنَّف، من دون ضبط إضافي للمعلمات. ويتيح الاختيار التكيفي للخبراء وفقًا لمجموعة البيانات وتمثيلاتها السماتية تحقيق نتائج تنافسية، لا سيما في ظل سياق محدود وأبعاد عالية.

15 نوفمبر 2026
البحث المحلي عن انزياحات التغاير للملفات الشخصية ذات التنبؤات غير الموثوقة
الأخبار

البحث المحلي عن انزياحات التغاير للملفات الشخصية ذات التنبؤات غير الموثوقة

تصف المقالة مسارًا تشخيصيًا يحدد أولًا مجموعات من المرضى قابلة للتفسير تنخفض فيها ثقة النموذج، ثم يتحقق من وجود انزياح ضار في المتغيرات المصاحبة داخل هذه المجموعات. وفي تجارب أُجريت على MIMIC-IV، شملت ثلاث مهام سريرية وثلاثة انزياحات اصطناعية على مستوى المجموعات الفرعية، ساعد هذا النهج على تحديد انزياح مرتبط بالعمر لم يكن واضحًا إلا بدرجة طفيفة في التقييم الإجمالي.

15 نوفمبر 2026
FedPix: إرسال الصور المضغوطة من العميل للحد من التسرب في التعلم الاتحادي
الأخبار

FedPix: إرسال الصور المضغوطة من العميل للحد من التسرب في التعلم الاتحادي

تتناول المقالة المعلومات التي ينبغي السماح للعميل بإرسالها إلى الخادم، وتقترح تدريب النظام على إرسال صور مدمجة قابلة للتحقق بصريًا بدلًا من أوزان النموذج أو التمثيلات الوسيطة. في مجموعات بيانات BloodMNIST وCIFAR-10 وFashionMNIST وMNIST، يحقق النهج قيمة PSNR منخفضة عند إعادة البناء، ويقلل زمن المعالجة على جانب العميل بنسبة تصل إلى 96,0%، مع دقة تتراوح بين 65,63 و99,18%.

15 نوفمبر 2026
طريقة Genesis Steering: توجيه التنشيطات باستخدام البيانات المستخدمة في الضبط الدقيق