معيار Zero2Repo: حدود إنشاء مشروع بشكل مستقل من مجلد فارغ

13 نوفمبر 20263 الآراء

تقترح الدراسة تقييم وكلاء البرمجة من خلال بناء المستودع كاملًا: المدخلات هي المواصفات وعقد الواجهة وبيئة فارغة، أما التقييم فيعتمد على اختبارات مخفية دون حكم من نموذج لغوي كبير. ونادرًا ما يجتاز حتى الوكلاء الرائدون جميع الاختبارات، إذ تعود النسبة الأكبر من الإخفاقات إلى نقاط منفردة من المتطلبات لم تُنفَّذ.

معيار Zero2Repo: حدود إنشاء مشروع بشكل مستقل من مجلد فارغ

ما الذي يختبره Zero2Repo

يقيّم المعيار ما إذا كان وكيل البرمجة قادرًا على إنشاء مستودع من الصفر. يتلقى الوكيل وثيقة بمتطلبات المنتج، وعقد الواجهة، ومساحة عمل فارغة. ويجب على الوكيل تقديم مستودع كامل ضمن المنظومة البرمجية الأصلية للمشروع.

يشمل الاختبار بناء المشروع بأكمله. ويستند التقييم إلى المستودع المكتمل.

  • المدخلات: وثيقة بمتطلبات المنتج، وعقد الواجهة، ومساحة عمل فارغة.
  • المخرجات: مستودع كامل ضمن المنظومة البرمجية الأصلية للمشروع.
  • موضوع التقييم: القدرة على إنشاء مستودع من الصفر.

الخلاصة: يختبر المعيار البناء المستقل انطلاقًا من دليل فارغ. المعيار العملي: استخدامه لتقييم الوكلاء في مهام بناء المشروع بأكمله.

كيف تُنشأ المهام

ينشئ خط المعالجة المهام بطريقة مستقلة عن اللغة. ويعتمد على مشاريع حقيقية مفتوحة المصدر ذات إصدارات محددة. ثم يحوّلها إلى مواصفات سلوكية، وبيئات قابلة لإعادة الإنتاج، واختبارات قبول مخفية.

المراحل:

  • اختيار مشاريع حقيقية مفتوحة المصدر ذات إصدارات محددة.
  • تحويلها إلى مواصفات سلوكية.
  • إعداد بيئات قابلة لإعادة الإنتاج.
  • إنشاء اختبارات قبول مخفية.

التحقق:

  • يجتاز التنفيذ المرجعي للمشروع الأصلي الاختبارات.
  • يؤكد الاختبار التنافسي أن الاختبارات ترفض التطبيقات غير الصحيحة.

الخلاصة: تستند المهمة إلى تنفيذ مرجعي واختبارات اجتازت التحقق التنافسي. المعيار العملي: التحقق من وجود تحقق للاختبارات، لا الاكتفاء بوصف المهمة.

كيف يُقيَّم الوكيل

يقيّم المعيار وكلاء البرمجة المستخدمين في بيئات الإنتاج داخل حاويات معزولة. وتظل اختبارات القبول مخفية إلى حين تقديم الحل صراحةً. والمكافأة ثنائية: لا تُمنح إلا عند اجتياز جميع الاختبارات. ولا يستخدم المعيار حكمًا من LLM.

المعايير:

  • حاوية معزولة للوكيل.
  • اختبارات مخفية حتى تقديم الحل.
  • مكافأة ثنائية عند اجتياز جميع الاختبارات.
  • عدم استخدام حكم من LLM.

الخلاصة: اجتياز الاختبارات جزئيًا لا يمنح مكافأة. المعيار العملي: يصلح للمقارنة بين الوكلاء تقييمٌ يتطلب نجاحه اجتياز الاختبارات المخفية بالكامل.

اللغات ونطاق الإصدار الحالي

لا يفترض خط المعالجة ونظام الاختبار لغة برمجة بعينها. ويضم الإصدار الحالي مهامًا بلغة Python وTypeScript وGo وC++.

محتوى الإصدار:

  • Python.
  • TypeScript.
  • Go.
  • C++.

الخلاصة: لا يقتصر المعيار على لغة واحدة، لكن مجموعة المهام الحالية محدودة بأربع لغات. المعيار العملي: مواءمة لغة المشروع مع محتوى الإصدار.

الحدود التي تكشفها النتائج

تظهر الحدود في مجموعة من 11 مهمة. وهذه المهام مأخوذة من مستودعات يُرجح أن النماذج المتقدمة قد صادفتها أثناء التدريب.

ما تكشفه النتائج:

  • يحل أقوى وكيل 10 مهام من أصل 11.
  • يجتاز كل إرسال غير ناجح 90-99% من الاختبارات المخفية.
  • لدى أقوى وكيلين، ترتبط 67-100% من الاختبارات الفاشلة بإغفال واحد أو بقاعدة نادرة في المواصفات.
  • يرتبط الإخفاق بدقة اتباع المواصفات، لا بغياب نظام فرعي.
  • يصف المؤلفون كل إخفاق من هذا النوع بأنه هدف محدد للتحسين.

الخلاصة: يظهر الحد الأقصى للبناء المستقل في الاحتفاظ بالقواعد النادرة واكتمال المواصفات. المعيار العملي: التحقق من مدى احتفاظ الوكيل بالقواعد النادرة في المواصفات، لا من قدرته على بناء الأنظمة الفرعية فحسب.

الأسئلة المتكررة

المواد ذات الصلة

جميع المواد
FedSocket: نماذج قابلة للتبادل مع اشتراط إمكانية تنفيذها لدى المستلِم في ظل التباين متعدد الوسائط
الأخبار

FedSocket: نماذج قابلة للتبادل مع اشتراط إمكانية تنفيذها لدى المستلِم في ظل التباين متعدد الوسائط

يُقدَّم FedSocket بوصفه نهجًا يشترط أن يكون النموذج المتبادل قابلًا للتشغيل على جهة المستلِم، ويربط بين النماذج الخاصة المتباينة واجهةُ تنبؤات مشتركة تُسمى Q. وتصف المقالة التجميع مع مراعاة الانتماء، وإرسال معلمات Q وحدها إلى جانب العدّادات، وتجارب على ست مجموعات بيانات تُظهر تحسن الدقة عند غياب بعض الوسائط وتفوّق الاستدلال المشترك (Joint) على التجميعات المستقلة.

13 نوفمبر 2026
CyberArena: مواجهات ثنائية بين وكلاء الذكاء الاصطناعي تكشف حدود المعايير السيبرانية الثابتة
الأخبار

CyberArena: مواجهات ثنائية بين وكلاء الذكاء الاصطناعي تكشف حدود المعايير السيبرانية الثابتة

يضع المعيار وكيلين في بيئات معزولة تضم خدمات تتغير باستمرار، ثم يحوّل أفعالهما على مدار سلسلة من الجولات إلى درجات متعددة الأبعاد للمهارات الهجومية والدفاعية. وفي 466 مباراة شملت 12 نموذجًا متطورًا، ميّز بين القدرات في الحالات التي تبلغ فيها الاختبارات أحادية الجانب سقفها، بما في ذلك التخطيط لعدة خطوات وإنشاء الأبواب الخلفية.

13 نوفمبر 2026
مدى متانة الكواشف أمام النصوص المُولَّدة آليًا بعد إعادة صياغتها: ما الذي كشفته الاختبارات
البحوث

مدى متانة الكواشف أمام النصوص المُولَّدة آليًا بعد إعادة صياغتها: ما الذي كشفته الاختبارات

يجمع هذا المقال نتائج اختبارات أدوات تعيد صياغة المقاطع المُولّدة بأسلوب أكثر طبيعية. وبعد هذه المعالجة، تنخفض إمكانية اكتشافها بشكل ملحوظ، فيما تحول النتائج الإيجابية الكاذبة المتبقية دون اعتبار حكم الكاشف دليلًا قاطعًا.

13 نوفمبر 2026
معيار Zero2Repo: حدود إنشاء مشروع بشكل مستقل من مجلد فارغ