AgentBench

والعميل بينش أداة مفتوحة المصدر لاختبار نماذج اللغات الكبيرة في دور وكلاء الحكم الذاتي. وأنشأها مطورون من جامعة تسينغهوا لتقييم مدى فعالية النماذج في التعامل مع المهام العملية التي تقارب سيناريوهات العالم الحقيقي.

التاريخ والأعراف

The project was launched by a research group at Tsinghua University. ويتمثل الهدف الرئيسي الذي حدده المبدعون أنفسهم في تجاوز اختبارات إعداد النصوص الموحدة وتقييم السلوك النموذجي في البيئات التفاعلية. وهذا أمر هام لأن نماذج اللغات الحديثة تُستخدم على نحو متزايد ليس فقط كمولدات إجابة بسيطة، بل كأدوات كاملة للقيام بأعمال متعددة الخطوات.

المنهجية الأساسية

العميل (بينش) يطلب نماذج لحل المهام في ثمانية بيئات مختلفة وهي تشمل إدارة نظم التشغيل، والعمل مع قواعد البيانات، والتفاعل مع الرسوم البيانية المعرفية، والمشاركة في لعبة بطاقات رقمية، وحل الألغاز التي تتطلب التفكير غير التقليدي. وبالإضافة إلى ذلك، تم تكييف ثلاثة بيئات من مجموعات البيانات القائمة، وهي: الأعمال المنزلية، والتسوق على شبكة الإنترنت، والتصفح الشبكي. هذا النهج يسمح بتقييم شامل لقدرة النموذج على التخطيط واتخاذ القرارات واستخدام الأدوات

وفي تشرين الأول/أكتوبر 2024، أُفرج عن نسخة محدثة - العميلة بينش ف. وهو يقدم الدعم لشكل الاتصال بالوظيفة والنشر الكامل عن طريق مركب دوكر. وهذا ما يبسط إلى حد كبير عملية إطلاق جميع بيئات الاختبار - ولا يلزم الآن سوى قيادة واحدة للبدء.

العميلة (بينش)

من العميل (بينش)؟

العميل (بينش) أداة مهنية ستكون مفيدة لفئات محددة من المستخدمين

AI agent Researchers and Developers

أولاً وقبل كل شيء، يهدف المعيار إلى أخصائيين يعملون على بناء وكلاء مستقلين في مجال التنفيذ. يمكنهم استخدام العميل (بينش) لاختبار نماذجهم في ظروف موحدة ومقارنة النتائج مع التطورات الأخرى The open-source code under a permissive license allows test environments to be adapted for specific research tasks.

أخصائيو تقييم جودة الإدارة

وبالنسبة للذين يقيّمون مهنيا نوعية نماذج اللغات، يقدم العميلة بينش مجموعة من السيناريوهات الجاهزة. ويسمح توافر مجموعتي بيانات، هما " ديف " و " الاختبار " ، بتدوين نموذج مستقل والتحقق النهائي. This is especially important for building fair and reproducible testing.

Companies Integrating LLMs into Work flows

ويمكن للمنظمات التي تنظر في نماذج اللغات باعتبارها أساساً للتشغيل الآلي للعمليات (بالعمل مع قواعد البيانات، أو المروجين، أو نظم التشغيل) أن تستخدم المعيار المرجعي للتقييم الموضوعي للمرشحين. وهذا يساعد على اختيار النموذج الأنسب لمهام تجارية محددة قبل إدماجه في الإنتاج.

كيف تستخدم العميل (بينش)؟

عملية العمل مع العميل (بينش) تعتمد على نسخة الأداة التي تخطط لاستخدامها

الصور الكلاسيكية

للعمل مع النسخة الأصلية من العميلة (بينش) يجب أن تنسق يدوياً كل من البيئات الثمانية ويختار المستخدم مهمة محددة، ويحمّل مجموعة البيانات المقابلة، ويدير التقييم النموذجي. ويمكن عندئذ مقارنة النتائج ببيانات على لوحة القيادة العامة. وتتطلب هذه العملية مهارات تقنية معينة، حيث أن لكل بيئة تشكيلة خاصة بها.

العميلة (بينش) و(دوكر)

ونسخة العميلة (بينش) المحدثة تبسّط نشرها بشكل كبير. بفضل الحاويات عبر مركب دوكر، كل بيئات الاختبار يمكن إطلاقها مع قيادة واحدة. ويوفر ذلك الوقت ويلغي معظم الأخطاء المرتبطة بالهيكل اليدوي للبيئة. المستعمل يحتاج فقط لتركيب (دوكر) وإستنساخ المستودع، وإدارة قيادة الإطلاق القياسية وبعد ذلك، سيتم اختبار النموذج تلقائيا في جميع البيئات.

وبالإضافة إلى ذلك، فإن نسخة موسعة - " Visual Agent Bench " - متاحة لنماذج متعددة الوسائط. وهي مصممة للاختبار في البيئات البصرية: من مراقبة الروبوتات إلى العمل بالوصلات البينية والتصميم على الشبكة.

Key Features of agent Bench

التقييم الذاتي النموذجي

المهمة الرئيسية للعميل (بينش) هي قياس قدرة النموذج على التصرف بدون تدخل بشري ويتحقق المعيار المرجعي مما إذا كان يمكن للنموذج أن يحلل بصورة مستقلة بيئته، ويتخذ القرارات، وينفذ عمليات متعددة الخطوات حتى بلوغ الهدف النهائي.

اختبارات البيئة المتعددة

وتتيح ثمانية بيئات مختلفة تقييم النموذج من زوايا مختلفة. فالعمل مع نظام تشغيلي يختبر المهارات التقنية، والإبداع في اختبار الأحجية والمنطق، والقدرة على تخطيط اختبارات التسوق على الشبكة والتفاعل مع الوصلات البينية. هذا النهج يوفر صورة شاملة لقدرات النموذج

دعم الدعوة

نسخة العميلة (بينش) من الـ (إف سي) تدعم استمارة الاتصال This means the model can call external functions in a structured way, bringing testing closer to real-world scenarios of using LLMs as functioning tools.

الاختبارات المتعددة الوسائط

وبالنسبة للنماذج التي لا تقتصر على النص فحسب، بل أيضا الصور، صُممت نسخة " Visual Agent Bench " . وهي تشمل بيئات ذات تصور بصري - من منظمة العفو الدولية إلى الروبوتات - مما يسمح بتقييم مدى فهم نموذج متعدد الوسائط على نحو جيد والعمل في سياق مرئي.

مزايا العميلة (بينش)

الانفتاح وإمكانية الوصول

وكل شيء يتعلق بالعميل بينش - الشفرة، مجموعات البيانات، النتائج - متاح للجمهور. وتسمح الشفافية الكاملة للباحثين الآخرين باستنساخ النتائج والثقة في البيانات المنشورة. The free distribution model makes the tool accessible to anyone with the technical capacity to run it.

سيناريوهات واقعية

وخلافاً للعديد من الاختبارات المجردة، يشمل العميل (بينش) البيئات القريبة من مهام العالم الحقيقي: إدارة النظام، التسوق، التصفيق. وهذا يوفر صورة أكثر موضوعية عن كيفية التصرف في النموذج في النشر الفعلي، وليس في ظروف مختبرية مثالية.

مرونة وسرعة الانتشار

وقد حل إطلاق سراح العميلة (بينش) من شركة (دوكر) للحاويات المركبة إحدى المشاكل الرئيسية التي تنطوي عليها المعايير - وهي تعقُّد الوضع. الآن، الحد الأدنى من المعارف التقنية يكفي لإجراء الاختبار. وبالإضافة إلى ذلك، فإن القدرة على اختبار النماذج القائمة على النسيج والتعددية الوسائط (عن طريق Visual Agent Bench) تجعل الأداة غير دقيقة.

مخالفات العميل (بينش)

الحاجز العالي للدخول

وعلى الرغم من التبسيط في صيغة FC، يتطلب استخدام العميلة بينش فهم تكنولوجيات مثل دوكر، وخط القيادة، والمبادئ الأساسية للعمل مع نماذج اللغات. بالنسبة للأشخاص الذين لا يملكون خلفية تقنية، سيكون من الصعب السيطرة على الأداة.

معلومات محدودة في المصادر المفتوحة

وفي الوقت الراهن، لا يوجد سوى القليل نسبيا من الوثائق والتعليمات المفصلة التي تصف كل خطوة من خطوات الإعداد والاختبار. وكثيراً ما يتعين على المستخدمين أن يكتشفوا المدونة نفسها أو يعتمدوا على المبادئ العامة للعمل بأدوات مماثلة.

نطاق التطبيق المحدد

بما أن العميلة (بينش) أداة تقييم، فقيمتها لا تتحقق إلا عندما يكون لديك نموذجك الخاص للاختبار. وبالنسبة للمستخدمين النهائيين الذين يستخدمون ببساطة تدابير الإدارة المستدامة للأراضي الجاهزة عن طريق تطبيق المعايير المحاسبية الدولية للقطاع العام، فإن المعيار لا يوفر فائدة عملية.

ما هي مشاكل العميلة (بينش سولف)؟

اختيار النموذج الأمثل

أحد المهام الرئيسية لعناوين العميل (بينش) يساعد على اختيار أنسب نموذج لقضية استخدام محددة ومن خلال مقارنة النتائج النموذجية على اللوحة القيادية، يمكن للمطور أن يقرر أي نموذج سيؤدي أداء أفضل، على سبيل المثال، بقواعد البيانات أو وصلات الويب.

مسار التنمية

وبالنسبة للأفرقة البحثية، يُستخدم المعيار كنظام تنسيقي: فهو يتيح تتبع كيفية تحسين النموذج مع كل عملية تكرار جديدة وتحديد المجالات التي لا تزال لديها نقاط ضعف تتطلب صقلا.

توحيد الاختبار

العميل (بينش) يحل مشكلة "كل اختبار بطريقته الخاصة" وتسمح مجموعة موحدة من البيئات ومجموعات البيانات بمقارنة النتائج من مختلف الأفرقة والنماذج على أساس مشترك. توفر مجموعة مستقلة من (ديف) والاختبارات يساعد على تجنب "التغطية" لنموذج اختبار البيانات

الوكيل Bench Pricing

العميلة (بينش) موزعة تحت نموذج حر، بمعنى أنها مجانية تماماً. وينطبق ذلك على كل من الوصول إلى مدونة جيت هوب وعلى لوحة القيادة العامة التي تحقق نتائج. ولا يحتاج المستعملون إلى دفع ثمن استخدام المعيار المرجعي.

غير أنه ينبغي النظر في التكاليف غير المباشرة المحتملة. ويتطلب تشغيل جميع البيئات في شكل حاويات (مركبة الدوكر) خادم أو معدات محلية ذات موارد كافية - وحدة CPU، والذاكرة، وحيز قرص. إضافة إلى ذلك، إذا كنت تخطط لاختبار النماذج التجارية المدفوعة الأجر، تكاليف طلباتهم لا تغطيها العميلة بينش. ولكن أداة التقييم نفسها لا تزال حرة تماما.

مدة الاستخدام للوكيلة

الكتائب

رمز مصادر العميل (بينش) يُنشر على (جيت هوب) تحت رخصة مفتوحة This means developers can freely use, modify, and adapt the code for their purposes. ومن المهم الامتثال لشروط الترخيص المحدد في المستودع.

استخدام النتائج

وتنشر نتائج التقييم النموذجية على لوحة القيادة العامة. ويمكن لأي مستخدم أن يستعرض البيانات ويستخدمها لأغراضها - في البحوث أو المواد أو الاختيار النموذجي. وعادة ما لا يكون هناك اشتراط إلزامي للإسناد، ولكن يُعتبر من الممارسات الجيدة استشهاد المصدر عند استخدام بيانات لوحة القيادة في المنشورات.

القيود العملية

بما أنّ العميلة (بينش) أداة اختبار، فإنّ استخدامه يفترض أنّ لديكِ بالفعل نموذج لغتكِ الخاصّة أو إمكانية الحصول على نماذج إرشادية تجارية. ولا يوفر المعيار نفسه إمكانية الوصول إلى النماذج - بل يقيّمها فقط. وبالإضافة إلى ذلك، تتطلب الاختبارات الجارية بيئة تقنية مع تركيب دوكر وتوفير موارد حاسوبية كافية.

العميلة (بينش)

الاطلاع المفتوح على المدونة

مستودع شفرة العميل (بينش) متاح علناً على (جيت هوب) يمكن لأي شخص أن يستنسخ المشروع، ويدرس الرمز، ويستخدمه في تطوراته الخاصة. This makes the tool accessible to researchers worldwide regardless of their geographical location or financial capabilities.

لوحة القيادة العامة

وتُنشر نتائج التقييم النموذجية على لوحة قيادة عامة. ويمكن للمستعملين أن يتتبعوا في الوقت الحقيقي أي نماذج تبين أفضل النتائج في بيئات مختلفة. ويتاح لوحة القيادة لاطلاع أي شخص دون تسجيل أو دفع.

المستجدات والتنمية

The project is actively evolved: in October 2024, the agentBench FC version was released, along with the VisualAgent Bench version for multimodal models. وهذا يدل على أن المطورين يحتفظون بهذه الأداة ويتكيفون مع الاحتياجات المتغيرة للمجتمع.

How agentBench Differs from Alternatives

البيئات الشاملة

ويركز العديد من النقاط المرجعية القائمة لتقييم نماذج اللغات على نوع واحد من المهام - على سبيل المثال، إعداد النصوص فقط أو الإجابة على الأسئلة. ويغطي العميل بينش ثمانية بيئات متنوعة، بما في ذلك العمل مع نظم التشغيل، وقواعد البيانات، والمصفوفات الشبكية. هذه التغطية الواسعة توفر صورة أكمل لقدرات النموذج مقارنة بالاختبارات المتخصصة الضيقة

التركيز على الاستقلال الذاتي

وفي معظم المعايير الكلاسيكية، يجيب النموذج على سؤال أو يقوم بعمل واحد. غير أن العميلة بينش تقيّم النموذج على وجه التحديد باعتباره عاملاً مستقلاً: القدرة على التخطيط، واتخاذ القرارات الوسيطة، وتعديل الإجراءات استناداً إلى التغذية المرتدة من البيئة. وهذا مستوى مختلف أساسا من التعقيد.

الانفتاح والهياكل الأساسية

وبالرغم من وجود معايير مفتوحة أخرى، فإن العميلة (بينش) تتمسك بالبنى التحتية المدروسة جيداً. ونسخة البرمجيات الحرة المحتوية على حاويات مركب دوكر والمهمة التي تتطلب الدعم هي خطوة إلى الأمام مقارنة بالعديد من البدائل التي تتطلب تركيباً يدوياً معقداً. وتميز هذه الأداة أيضاً عن المنافسين.

خاتمة

العميلة (بينش) معيار مهني مفتوح المصدر لتقييم نماذج اللغات الكبيرة في دور وكلاء الحكم الذاتي. وبفضل ثمانية بيئات متنوعة، وهي وظيفة تتطلب الدعم في صيغة FC، ونشر حاويات عن طريق مركب دوكر، توفر هذه الأداة للباحثين والمطورين منصة اختبار ملائمة وموحدة. The public leaderboard, free access to code, and the availability of a separate version for multimodal models make agentBench a significant tool in the modern AI agent development ecosystem. على الرغم من بعض الصعوبات في إتقانها للمبتدئين، المعيار هو وسيلة موثوقة لتقييم مدى ملاءمة النموذج العملية لحل مهام العالم الحقيقي.