من المكافأة القياسية إلى جبهة باريتو: توليف RTL باستخدام النماذج اللغوية الكبيرة والتعلّم المعزّز متعدد المعايير

العمل والحالة

• العنوان: Pareto-Optimal RTL Code Generation via Multi-Objective Reinforcement Learning with Large Language Models.
• المؤلفون: Koki Takeshita, Kenji Uebayashi, Hikaru Tomonari, Masaya Tsunokake, Koichiro Yawata, Tatsuya Sasaki, Yusuke Ohtsubo, Kota Dohi, Yasuhiro Sogawa.
• تاريخ التقديم: 16 أكتوبر 2026.
• الحالة: تشير التعليقات إلى قبول العمل في COLM 2026.

المسودة الأولية متاحة على arXiv:2610.26904. يتناول العمل توليد RTL باستخدام نماذج اللغة الكبيرة. يدرّب الأسلوب النموذج على إخراج مجموعة من المرشحين بدلاً من تصميم واحد. وتُقيَّم هذه المجموعة ضمن فضاء PPA.

الخلاصة: قُبل العمل في COLM 2026، ويقترح نهجاً متعدد الأهداف لتوليف RTL باستخدام LLM. ومن المهم عند اختيار النهج التحول في الهدف نفسه، من تصميم واحد إلى مجموعة.

مشكلة المكافأة العددية

تجمع الأساليب الحالية عدة أهداف في مكافأة عددية واحدة. ويصعّب ذلك الحصول على حلول متنوعة ومثلى على جبهة باريتو في الوقت نفسه. كما يصبح من الصعب تحقيق مفاضلات مختلفة بين انخفاض استهلاك الطاقة وقِصر زمن التأخير وصِغر المساحة. وتحدد المكافأة العددية أهمية الأهداف قبل التوليد.

تعتمد الأهمية النسبية للأهداف على متطلبات المنتج وقيود المشروع. أما المكافأة المحددة مسبقاً فلا تتغير تبعاً لهذه المتطلبات. لذا نحتاج إلى مجموعة من المرشحين بمفاضلات مختلفة.

الخلاصة: تثبّت المكافأة العددية المفاضلة قبل التوليد. أما الصياغة متعددة الأهداف فتنقل الاختيار إلى مرحلة ما بعد التوليد.

ما الذي يحسّنه الأسلوب

يحسّن الأسلوب جودة مجموعة التصاميم بأكملها وتنوعها. وتتكوّن المجموعة عبر عمليات توليد متعددة. ويجري التقييم في فضاء أهداف PPA: الطاقة والأداء والمساحة. ولا يستهدف الأسلوب جودة تصميم واحد.

ترتبط أهداف PPA بمفاضلات. إذ تحقق التصاميم المختلفة توليفات مختلفة من انخفاض استهلاك الطاقة وقِصر زمن التأخير وصِغر المساحة. لذا يدرّب الأسلوب النموذج على تغطية نقاط مختلفة من جبهة باريتو. ويحصل المصمم على عدة مرشحين.

الخلاصة: يستهدف الأسلوب تغطية الجبهة، لا إجابة واحدة هي الأفضل.

عنصران في الأسلوب

خط أنابيب التدريب القائم على عمليات التوليد

يحوّل خط الأنابيب تحسين تغطية مجموعة حلول باريتو بأكملها إلى مهمة متسلسلة لتوليد التصاميم. ويجري التدريب على خطوات، كما تُمنح مهمة التوليد بنية متسلسلة.

المكافأة القائمة على مساهمة الحجم الفائق (Hypervolume Contribution)

تقيس دالة المكافأة HVC مساهمة التصميم المُولَّد في جبهة باريتو. وتعكس المكافأة الزيادة في التغطية، لا الجودة المطلقة لتصميم منفرد. وتربط HVC التدريب بتغطية الجبهة.

الخلاصة: يحدد خط الأنابيب التسلسل، وتوفر HVC إشارة للمساهمة في التغطية.

النتائج على RTLLM v2

أظهر التقييم على معيار RTLLM v2 زيادة في الحجم الفائق النسبي. وبلغت الزيادة +13,3 نقطة مئوية مقارنة بخط الأساس من دون تحسين PPA، و+14,4 نقطة مئوية مقارنة بأسلوب التعلم المعزز أحادي الهدف. كما أفاد المؤلفون بتفوق الأسلوب من حيث تنوع التصاميم.

الخلاصة: يحسّن الأسلوب تغطية الجبهة وتنوع التصاميم على RTLLM v2. وتتعلق الأرقام بالحجم الفائق النسبي، لا بالجودة المطلقة لكل تصميم.

المعيار العملي للاختيار

يتحدد اختيار النهج بحسب توقيت تثبيت المفاضلة. وتتطلب المكافأة العددية تحديد أهمية PPA قبل التوليد. أما النهج متعدد الأهداف فينقل الاختيار إلى مرحلة ما بعد التوليد، ويوفر مجموعة من المرشحين بمفاضلات مختلفة.

يقتصر تقييم الأسلوب على معيار RTLLM v2. ويتطلب استخدامه مع تدفق تصميم مختلف إجراء تحقق خاص به. ولا يجوز تعميم أرقام الزيادة على ظروف أخرى من دون تحقق.

الخلاصة: إذا كانت متطلبات PPA تتغير من منتج إلى آخر ومن مشروع إلى آخر، فإن النهج متعدد الأهداف يلائم مهمة الاختيار بعد التوليد. أما إذا كانت أهمية الأهداف معروفة ومحددة مسبقاً، فتناسبها المكافأة العددية، لأنها تتيح مفاضلة محددة مسبقاً.