حقل: content اللغة الهدف: العربية (ar)
عادةً ما يتطلب تحسين نوى وحدة معالجة الرسومات (GPU) فهمًا عميقًا للبنية الأساسية للعتاد والتعليمات منخفضة المستوى. لا تزال النماذج اللغوية تتعامل مع هذا الأمر بشكل غير مستقر: فقد تولّد كودًا يبدو معقولًا، لكنه في كثير من الأحيان لا يكون صحيحًا أو سريعًا. PTXBench هو معيار تقييم جديد يحاول إدخال القابلية للقياس والوضوح في هذه العملية.
ما هو PTXBench ولماذا هو مطلوب
PTXBench هو منصة تقييم للنماذج اللغوية الكبيرة التي تحاول استخدام PTX (Parallel Thread Execution) الخاص ببنية معينة لتحسين نوى GPU. PTX هو تمثيل وسيط لتعليمات GPU من NVIDIA، وعلى هذا المستوى يمكن التحكم بدقة في السجلات والذاكرة والمجدول. المعايير التقليدية تختبر الكود النهائي فقط، لكن PTXBench ينظر أعمق: هل تطبق النموذج بالفعل التعليمات منخفضة المستوى المستهدفة، أم أنها فقط تولد كودًا "يشبه لغة C".
ركز المؤلفون على عبئين تقليديين: ضرب المصفوفات (GEMM) وآلية الانتباه (attention)، والتي تعتبر حاسمة للمحولات (transformers). أُجريت الاختبارات على مسرعات حديثة — H100 وB200. هذا الاختيار يسمح بفحص ليس فقط المهارات الأساسية للنموذج، ولكن أيضًا قدرته على التكيف مع البنى الحديثة وخصائصها المحددة.
ماذا يقيس المعيار
يقيم PTXBench النماذج وفقًا لثلاثة معايير رئيسية:
- الصحة الوظيفية — يجب أن تتطابق نتيجة عمل النواة المولدة مع النواة المرجعية.
- تنفيذ التعليمات المستهدفة — يتم التحقق مما إذا كانت تعليمات PTX المحددة التي كان يجب على النموذج استخدامها تظهر في وقت التشغيل.
- التسريع — مدى سرعة النواة الناتجة مقارنة بالمكتبات الحدودية (frontier)، أي أفضل التطبيقات الجاهزة.
هذا النهج يفصل بين ثلاث مشاكل مختلفة. قد يكتب النموذج كودًا صحيحًا، لكنه لا يستخدم التعليمات المطلوبة. أو قد يستخدمها، لكنه يحصل على أداء أسوأ من المكتبة القياسية. يتيح PTXBench رؤية المرحلة التي يحدث فيها الفشل بالضبط.
النتائج: التحسين لا يزال غير متساوٍ للنماذج
أظهر التقييم أن قدرة LLM على العمل مع PTX تعتمد بشكل كبير على المهمة. في الحالات البسيطة، تظهر النماذج نتائج جيدة، لكن نسبة الحلول الناجحة تنخفض بشكل حاد في مهام backward المعقدة للانتباه. هذا متوقع: يتطلب المسار العكسي تعاملًا أكثر دقة مع التدرجات والذاكرة.
استنتاج مهم آخر: تنفيذ التعليمات المستهدفة في حد ذاته لا يضمن السرعة. قد "يصيب" النموذج تعليمات PTX الصحيحة، لكنه يختار استراتيجية توازٍ غير مناسبة أو توزيعًا سيئًا للمزامنات. في النهاية، لم يتمكن أي من النماذج المختبرة من منافسة المكتبات الحدودية باستمرار على مجموعة المهام بأكملها.
كيف تم ضبط النموذج وما الذي نجح
لفهم ما إذا كان يمكن تحسين هذه المهارات، أجرى المؤلفون ضبطًا دقيقًا خاضعًا للإشراف (supervised fine-tuning) لنموذج Qwen3.6-27B. بالإضافة إلى ذلك، استخدموا تقنية يمكن تسميتها بالتعلم المشروط بالتصحيح: يتعلم النموذج ليس فقط توليد الكود، بل تصحيحه أيضًا، من خلال تلقي ملاحظات حول الخطوات غير الصحيحة.
هذا النهج حسّن بالفعل عدة مهام، لكنه لم يضمن تقدمًا موحدًا. بقي التعميم ضعيفًا: يمكن للنموذج التعامل جيدًا مع أنواع معينة من النوى ويفشل في أنواع أخرى. أظهر التحليل أن حجم مجموعة بيانات التدريب ليس العامل الوحيد الحاسم. الأهم هو تغطيتها، والتوازن بين السيناريوهات المختلفة، وجودة "المعلم" الذي يولد أمثلة لسلاسل الاستدلال. إذا كان هناك انحياز في البيانات نحو الحالات البسيطة، فلن يتعلم النموذج التعقيد.
الخلاصة الرئيسية
يوفر PTXBench للمجتمع منصة اختبار قابلة للتحقق يمكن من خلالها تتبع تقدم LLM في تحسين نوى GPU. إنه لا يقدم فقط تقييمًا "سريع/بطيء"، بل يظهر على أي مستوى تنهار خطط النموذج: على مستوى بناء الجملة، أو تطبيق التعليمات المحددة، أو اختيار الاستراتيجية. هذه خطوة مهمة نحو جعل التحسين التلقائي للنوى قابلاً للتنبؤ وعمليًا.
