AutoDRIVE Cooperative MARL

وصف التعاوني الآلي

الآلية التعاون في مجال مكافحة غسل الأموال هو إطار برمجيات مفتوح المصدر مصمم لتطوير وتدريب وتقييم خوارزميات التعلم المتعددة العناصر في سياق القيادة التعاونية المستقلة. The tool combines the high-fidelity urban driving simulator AutoDRIVE with ready-made implementations of popular MARL algorithms such as MADDPG and PPO.

ويتيح الإطار للباحثين والمطورين وضع سيناريوهات تتفاعل فيها مركبات مستقلة متعددة مع بعضها البعض لتحقيق أهداف مشتركة - مثل تغيير الممر الآمن، وتنسيق التقاطعات، أو الفصيل. The project is hosted on GitHub in the Tinker-Twins repository and is distributed free of charge.

ومن السمات الرئيسية للنموذج التعاوني الآلي. ويمكن للمستعملين أن يصمموا أماكن المراقبة، ووظائف المكافآت، والمقاييس الفائقة الدقة، فضلا عن استخدام النصوص المدمجة للتدريب والتقييم والتصوير البصري. This makes the framework a practical tool for both research work and educational purposes.

AutoDRIVE Cooperative MARL Features

من هو التعاوني الآلي؟

باحثو المركبات المستقلون

ويوفر الإطار أساسا جاهزا للتجارب مع استراتيجيات المراقبة التعاونية. يمكن للباحثين إجراء التجارب بسرعة، ومقارنة الخوارزميات، ونسخ النتائج بفضل رمز المصدر المفتوح

المطورون المتعددون لنظام RL

وسيجد أخصائيو التعليم في مجال تعزيز التنفيذ عمليات تنفيذ الخطة المتوسطة الأجل، و PPO، وغير ذلك من الأساليب، فضلا عن القدرة على توسيع نطاق المكتبة مع خوارزمياتهم الخاصة من خلال الهيكل النموذجي.

الطلاب والمربون

The project can be used in courses on autonomous driving and Robics. وتبسط الأمثلة والسيناريوهات الجاهزة مبادئ التفاعل المتعددة العناصر دون الحاجة إلى كتابة مدونة من الصفر.

مهندسو المحاكاة

ويمكن للأخصائيين العاملين مع المحاكاة استخدام الإطار لإيجاد بيئات اختبار افتراضية لنظم مراقبة حركة المرور التعاونية.

كيف نستخدم (مارل) التعاوني الآلي؟

التركيب والإنشاء

للبدء، إستنساخ مستودع من جيت هوب. ثم تركيب المعالين بالركض pip install -r requirements.txt- يعمل الإطار على لينكس، وماكوس، وويندوز، ويتطلب بيتون والمكتبات المدرجة في ملف الاحتياجات.

الإعداد

الخطوة التالية هي تحميل أو بناء المحاكاة الآلية. بعد التركيب، عليك تحديد مساره في ملف تشكيلة التدريب. وهذه خطوة هامة منذ أن يعمل الإطار بالاقتران مع هذا المحفز.

نماذج التدريب والتقييم

بمجرد أن يتم تشكيل البيئة، يعدل ملفات التكوين الخاصة بسيناريوك و خوارزميتك المنشودة. التدريب على الإطلاق، على سبيل المثال، عن طريق النص python train_maddpg.py- استخدام نصوص التقييم لاختبار السياسات المدربة. ويمكن تصور النتائج باستخدام مرافق تخطيط المباني.

السمات الرئيسية للتعاونيات الآلية

تنفيذ خوارزمية MARL

ويشمل الإطار تنفيذ البرامجيات الجاهزة التي وضعتها وزارة التنمية الاجتماعية (معهد الدراسات العليا في مجال السياسات العامة المتعلقة بعمق الذكاء) وبرنامج PPO (التحسين الأمثل للسياسات) كما يدعم ربط خوارزميات التعلم المتعددة العناصر الأخرى.

التكامل مع محاكاة مستقلة

ويتم الاندماج مع المحفز الآلي، الذي يمثل سيناريوهات القيادة الحضرية. ويمكن للمستعملين أن يخلقوا سيناريوهاتهم الخاصة وتشكيلات بيئة الطرق.

البيئة والمكافأة

وتُوفَّر لفائف البيئة والمكافآت ويمكن تعديلها لأداء مهام محددة. وهذا يتيح تكييف التدريب مع مختلف أهداف السلوك التعاوني.

أدوات التدريب والتحليل

وتشمل المجموعة نصوصاً لاستهلال التدريب، ونماذج قطع الأشجار، ووظائف التبصر، وتخطيط الأداء. كما يدعم تحديد السياسات والتعلم من المناهج الدراسية.

مزايا التعاون الآلي

البحوث المعجلة

تطبيقات الخوارزمية والمخطوطات الجاهزة توفر الوقت في كتابة رموز القاعدة. ويمكن للباحثين التركيز على تصميم التجارب وتحليل النتائج.

الوحدة والقابلية للاكتفاء

The project structure is designed with extensibility in mind. ويمكن للمستعملين أن يضيفوا السيناريوهات الخاصة بهم، والخوارزميات، والتعديلات البيئية دون إعادة كتابة الإطار الأساسي.

التكاثر والانفتاح

كونه مشروعاً مفتوح المصدر بشأن جيت هوب ويضمن الإطار إعادة إنتاج التجارب. وهذه ميزة هامة للبحوث الأكاديمية وتحليل الخوارزميات المقارنة.

خصيتي المحاكاة العالية

ويوفر التكامل مع المحفز الآلي بيئة اختبارية أكثر واقعية مقارنة بالمنشطين المبسطين البالغ عددهم 2D، مما يحسن نوعية تقييم السياسات.

Disadvantages of AutoDRIVE Cooperative MARL

No information about framework disadvantages is available in public sources. وهو، شأنه شأن أي أداة متخصصة، يتطلب معرفة معينة في مجال تعزيز التعلم وفي بعض الوقت لدراسة الوثائق ومصادرة البيئة. وتجدر الإشارة أيضاً إلى أن المشروع يركز على بحوث المحاكاة ولا ينطوي على نقل مباشر إلى مركبات حقيقية دون تكييف إضافي.

ما هي المشاكل التي يحلها التعاوني الآلي؟

تغيير الممر التعاوني

وضع سياسات من أجل تغيير المسار الآمن والكفؤ للمركبات مع عوامل متعددة على الطريق.

إدارة التقاطع

إنشاء خوارزميات تنسيقية لمركبات متعددة في مقاطع للتقليل إلى أدنى حد من التأخيرات ومنع نشوب النزاعات.

التعبئة

:: إجراء بحوث ووضع استراتيجيات لمراقبة قوافل المركبات التي تتحرك بسرعة ومسافات منسقة.

المعيار المرجعي

Comparing the performance of various multi-agent reinforcement learning algorithms in reality urban driving scenarios.

المظاهرات التعليمية

وباستخدام الإطار في الدورات الدراسية لإظهار مبادئ التفاعل المتعددة العناصر بصريا في مجال النقل المستقل.

AutoDRIVE Cooperative MARL Pricing

ويوزع الإطار مجانا. No registration or payment is required to access the GitHub repository. وتتصل جميع التكاليف فقط بتوفير الموارد الحاسوبية للتدريب النموذجي وتركيب البرامجيات اللازمة.

مصطلحات الاستخدام التعاونية الآلية

The project is open-source and hosted on GitHub. ولا يلزم استخدام أي تسجيل أو دفع أو إنشاء حساب. يمكن للمستعملين أن يستنسخوا المستودع بحرية، ويدرسوا الرمز، ويدخلوا تغييرات ويساهموا في تطوير المشروع وتُقدَّم المساهمات من خلال آليات معيارية لـ " غيت هوب " .

توافر التعاونيات الآلية

والإطار متاح على جميع نظم التشغيل الرئيسية - لينكس، ماكوس، وويندوز. The repository is hosted on GitHub and is accessible without any regional restrictions. Python and the dependencies listed in the requirements.txt file must be installed to use it.

How AutoDRIVE (ب) تختلف المعايير التعاونية لمنع التلوث الناجم عن البدائل

Among similar multi-agent environments and frameworks, notable ones include PettingZoo Multi-Agent Environments, Ray RLlib Multi-Agent Toolkit, OpenAI Gym MultiAgentParticleEnv, and Mava Multi-Agent RL Framework.

ويكمن الاختلاف الرئيسي بين التعاونيات الآلية في تكاملها الضيق مع مُحاكاة السيارات في المناطق الحضرية ذات القيمة العالية. While many alternative environments use simplified physics models and abstract scenarios, this framework targets factual road situations involving vehicles.

وبالإضافة إلى ذلك، يعرض المشروع التنفيذ الجاهز لبرنامج التنمية الزراعية المتعدد الأطراف وبرنامج الشرطة الشعبية وتقليص حاجز الدخول للباحثين الذين لا يحتاجون إلى تنفيذ الخوارزميات بأنفسهم. وتوفر برامج أخرى، مثل برنامج " RLlib " مجموعة أوسع من الأدوات ولكنها تحتاج إلى مزيد من التشكيل ولا تخصص لقيادة التعاونيات.

خاتمة

الآلية التعاون في مجال النقل البحري هو إطار عملي مفتوح المصدر للبحث في القيادة التعاونية المستقلة. وهو يجمع بين خوارزميات التعلم المتعددة العناصر والمحفز الواقعي للتنشيط الآلي، ويوفر عمليات التنفيذ الجاهزة والكتاب وأدوات التصوير. وبفضل هيكله النموذجي وحصوله مجاناً، فإن المشروع مناسب لأعمال البحث، ومقارنة الخوارزميات، والمظاهرات التعليمية، ووضع السياسات اللازمة لمهام مثل تغيير الممر، وتنسيق التقاطعات، والفصيل.