AutoDRIVE Cooperative MARL

AutoDRIVE Cooperative MARL विवरण

ऑटोड्राइव सहकारी एमएआरएल एक ओपन सोर्स सॉफ्टवेयर फ्रेमवर्क है जिसे सहकारी स्वायत्त ड्राइविंग के संदर्भ में मल्टी-एजेंट सुदृढीकरण लर्निंग (एमएआरएल) एल्गोरिदम के विकास, प्रशिक्षण और मूल्यांकन के लिए डिज़ाइन किया गया है। उपकरण MADDPG और PPO जैसे लोकप्रिय MARL एल्गोरिदम के तैयार किए गए कार्यान्वयन के साथ उच्च निष्ठा वाले शहरी ड्राइविंग सिम्युलेटर AutoDRIVE को जोड़ती है।

फ्रेमवर्क शोधकर्ताओं और डेवलपर्स को परिदृश्य बनाने की अनुमति देता है जिसमें कई स्वायत्त वाहन सामान्य लक्ष्यों को प्राप्त करने के लिए एक दूसरे के साथ बातचीत करते हैं - उदाहरण के लिए, सुरक्षित लेन बदलते, चौराहे समन्वय, या प्लैटोनिंग। परियोजना की मेजबानी टिंकर-जुड़वां भंडार में गिटहब पर की जाती है और इसे मुफ्त में वितरित किया जाता है।

AutoDRIVE Cooperative MARL की एक प्रमुख विशेषता मॉड्यूलरता है। उपयोगकर्ता अवलोकन स्थान, रिवॉर्ड फंक्शन और एल्गोरिदम हाइपरपैरामीटर को अनुकूलित कर सकते हैं, साथ ही प्रशिक्षण, मूल्यांकन और परिणाम दृश्यता के लिए अंतर्निहित स्क्रिप्ट का उपयोग कर सकते हैं। यह दोनों अनुसंधान कार्य और शैक्षिक उद्देश्यों के लिए एक व्यावहारिक उपकरण बनाता है।

AutoDRIVE Cooperative MARL विशेषताएं

कौन है?

स्वायत्त वाहन शोधकर्ताओं

ढांचा सहकारी नियंत्रण रणनीतियों के साथ प्रयोगों के लिए एक तैयार आधार प्रदान करता है। शोधकर्ता जल्दी से प्रयोग चला सकते हैं, एल्गोरिदम की तुलना कर सकते हैं, और परिणाम को पुन: उत्पन्न कर सकते हैं धन्यवाद ओपन सोर्स कोड।

बहु एजेंट आर एल सिस्टम डेवलपर्स

सुदृढ़ीकरण शिक्षा विशेषज्ञों को MADDPG, PPO और अन्य तरीकों के कार्यान्वयन के साथ-साथ मॉड्यूलर आर्किटेक्चर के माध्यम से पुस्तकालय को अपने स्वयं के एल्गोरिदम के साथ विस्तारित करने की क्षमता मिलेगी।

छात्र और शिक्षक

परियोजना का उपयोग स्वायत्त ड्राइविंग और रोबोटिक्स पर पाठ्यक्रमों में किया जा सकता है। रेडी-निर्मित उदाहरण और परिदृश्य स्क्रैच से कोड लिखने की आवश्यकता के बिना बहु-एजेंट इंटरेक्शन सिद्धांतों का प्रदर्शन करना आसान बनाते हैं।

सिमुलेशन इंजीनियर

सिमुलेटर के साथ काम करने वाले विशेषज्ञ सहकारी यातायात नियंत्रण प्रणालियों के लिए आभासी परीक्षण वातावरण बनाने के लिए ढांचे का उपयोग कर सकते हैं।

AutoDRIVE Cooperative MARL का उपयोग कैसे करें?

स्थापना और सेटअप

शुरू करने के लिए, गिटहब से भंडार को क्लोन करें। फिर चलकर निर्भरता स्थापित करें pip install -r requirements.txtयह ढांचा लिनक्स, मैकओएस और विंडोज पर काम करता है, और आवश्यकता के अनुसार पाइथन और पुस्तकालयों की आवश्यकता होती है।

सिम्युलेटर तैयारी

अगला कदम AutoDRIVE सिम्युलेटर को डाउनलोड या निर्माण करना है। स्थापना के बाद, आपको प्रशिक्षण विन्यास फ़ाइल में अपना रास्ता निर्दिष्ट करने की आवश्यकता है। यह एक महत्वपूर्ण कदम है क्योंकि फ्रेमवर्क इस सिम्युलेटर के साथ मिलकर काम करता है।

प्रशिक्षण और मूल्यांकन मॉडल

एक बार पर्यावरण को कॉन्फ़िगर करने के बाद, अपने वांछित परिदृश्य और एल्गोरिदम के लिए विन्यास फ़ाइलों को संशोधित करें। उदाहरण के लिए, स्क्रिप्ट के माध्यम से लॉन्च प्रशिक्षण python train_maddpg.py. प्रशिक्षित नीतियों का परीक्षण करने के लिए मूल्यांकन स्क्रिप्ट का उपयोग करें। परिणामों को अंतर्निहित साजिश उपयोगिताओं का उपयोग करके देखा जा सकता है।

AutoDRIVE Cooperative MARL की प्रमुख विशेषताएं

MARL एल्गोरिदम कार्यान्वयन

फ्रेमवर्क में MADDPG (मल्टी-एजेंट डीप डिटर्मिनिस्ट पॉलिसी ग्रेडिएंट) और PPO (प्रोक्सिमल पॉलिसी ऑप्टिमाइज़ेशन) के तैयार-निर्मित सॉफ़्टवेयर कार्यान्वयन शामिल हैं, और अन्य बहु-एजेंट सुदृढीकरण लर्निंग एल्गोरिदम को जोड़ने का भी समर्थन करता है।

एक स्वायत्त सिम्युलेटर के साथ एकीकरण

AutoDRIVE सिम्युलेटर के साथ एकीकरण, जो शहरी ड्राइविंग परिदृश्यों को मॉडल करता है, प्रदान किया जाता है। उपयोगकर्ता अपने परिदृश्य और सड़क पर्यावरण विन्यास बना सकते हैं।

पर्यावरण और पुरस्कार अनुकूलन

पर्यावरण रैपर और इनाम कार्यों को प्रदान किया जाता है और विशिष्ट कार्यों के लिए संशोधित किया जा सकता है। यह प्रशिक्षण विभिन्न सहकारी व्यवहार लक्ष्यों के अनुकूल होने की अनुमति देता है।

प्रशिक्षण और विश्लेषण उपकरण

पैकेज में प्रशिक्षण, लॉगिंग मॉड्यूल, विज़ुअलाइज़ेशन फंक्शन और प्रदर्शन साजिश शुरू करने के लिए स्क्रिप्ट शामिल हैं। नीति जांच और पाठ्यक्रम सीखने का भी समर्थन किया जाता है।

AutoDRIVE Cooperative MARL के लाभ

त्वरित अनुसंधान

रेडी-मेड एल्गोरिदम और स्क्रिप्ट कार्यान्वयन आधार कोड लिखने पर समय बचाते हैं। शोधकर्ता प्रयोग डिजाइन और परिणाम विश्लेषण पर ध्यान केंद्रित कर सकते हैं।

Modularity and extensibility

परियोजना वास्तुकला को ध्यान में उत्कृष्टता के साथ डिजाइन किया गया है। उपयोगकर्ता फ्रेमवर्क कोर को फिर से लिखने के बिना अपने स्वयं के परिदृश्य, एल्गोरिदम और पर्यावरण संशोधन जोड़ सकते हैं।

Reproducibility and openness

गिटहब पर एक ओपन सोर्स प्रोजेक्ट होने के नाते, गिटहब पर एक ओपन सोर्स प्रोजेक्ट होना ढांचा प्रयोग पुन: प्रयोज्यता सुनिश्चित करता है। यह अकादमिक अनुसंधान और तुलनात्मक एल्गोरिदम विश्लेषण के लिए एक महत्वपूर्ण लाभ है।

उच्च सिमुलेशन निष्ठा

AutoDRIVE सिम्युलेटर के साथ एकीकरण 2D सिम्युलेटर को सरलीकृत करने, नीति मूल्यांकन की गुणवत्ता में सुधार की तुलना में अधिक यथार्थवादी परीक्षण वातावरण प्रदान करता है।

AutoDRIVE Cooperative MARL के नुकसान

ढांचे के नुकसान के बारे में कोई जानकारी सार्वजनिक स्रोतों में उपलब्ध नहीं है। किसी विशेष उपकरण की तरह, इसे सुदृढीकरण सीखने में कुछ ज्ञान की आवश्यकता होती है और कुछ समय के लिए प्रलेखन का अध्ययन करना और पर्यावरण को कॉन्फ़िगर करना होता है। यह भी ध्यान देने योग्य है कि परियोजना सिमुलेशन अनुसंधान पर केंद्रित है और अतिरिक्त अनुकूलन के बिना वास्तविक वाहनों को प्रत्यक्ष हस्तांतरण नहीं करता है।

ऑटोड्राइविव कोऑपरेटिव एमएआरएल क्या समस्याएं हल करती हैं?

सहकारी लेन बदलते

सुरक्षित और कुशल वाहन लेन के लिए नीतियों का विकास सड़क पर कई एजेंटों के साथ बदल रहा है।

अवरोध प्रबंधन

देरी को कम करने और संघर्ष को रोकने के लिए चौराहे पर कई वाहनों के लिए समन्वय एल्गोरिदम बनाना।

प्लैटूनिंग

समन्वित गति और दूरी पर चलने वाले वाहनों के चालान के लिए नियंत्रण रणनीतियों का अनुसंधान और विकास करना।

एल्गोरिथ्म बेंचमार्किंग

यथार्थवादी शहरी ड्राइविंग परिदृश्यों में विभिन्न बहु-एजेंट सुदृढीकरण सीखने वाले एल्गोरिदम के प्रदर्शन की तुलना में।

शैक्षिक प्रदर्शन

पाठ्यक्रमों में रूपरेखा का उपयोग करके स्वायत्त परिवहन में बहु-एजेंट इंटरेक्शन सिद्धांतों को प्रदर्शित किया जाता है।

AutoDRIVE Cooperative MARL मूल्य निर्धारण

ढांचे को नि: शुल्क वितरित किया जाता है। गिटहब भंडार तक पहुंचने के लिए पंजीकरण या भुगतान की आवश्यकता नहीं है। सभी लागत केवल मॉडल प्रशिक्षण के लिए कम्प्यूटेशनल संसाधन प्रदान करने और आवश्यक सॉफ्टवेयर स्थापित करने के लिए संबंधित हैं।

AutoDRIVE Cooperative MARL उपयोग की शर्तें

परियोजना खुला स्रोत है और गिटहब पर होस्ट की गई है। उपयोग के लिए पंजीकरण, भुगतान या खाता निर्माण की आवश्यकता नहीं है। उपयोगकर्ता स्वतंत्र रूप से प्रस्ताव को बंद कर सकते हैं, कोड का अध्ययन कर सकते हैं, परिवर्तन कर सकते हैं और परियोजना के विकास में योगदान कर सकते हैं। योगदान मानक गिटहब तंत्र के माध्यम से किया जाता है।

AutoDRIVE Cooperative MARL उपलब्धता

रूपरेखा सभी प्रमुख ऑपरेटिंग सिस्टम - लिनक्स, मैकओएस और विंडोज पर उपलब्ध है। भंडार GitHub पर आयोजित किया जाता है और किसी भी क्षेत्रीय प्रतिबंध के बिना सुलभ है। पाइथन और आवश्यकताओं में सूचीबद्ध निर्भरता.txt फ़ाइल को इसका उपयोग करने के लिए स्थापित किया जाना चाहिए।

कैसे AutoDRive सहकारी MARL विकल्प से भिन्न होता है

इसी तरह के बहु-एजेंट वातावरण और फ्रेमवर्क के बीच, उल्लेखनीय लोगों में PettingZoo मल्टी-एजेंट एन्वायरमेंट्स, रे RLlib मल्टी-एजेंट टूलकिट, OpenAI जिम मल्टीएजेंटपार्टिकलएनवी और Mava मल्टी-एजेंट आरएल फ्रेमवर्क शामिल हैं।

AutoDRIVE Cooperative MARL का मुख्य अंतर इसके तंग एकीकरण के साथ है उच्च निष्ठा शहरी ड्राइविंग सिम्युलेटर AutoDRIVE जबकि कई वैकल्पिक वातावरण सरलीकृत भौतिकी मॉडल और अमूर्त परिदृश्यों का उपयोग करते हैं, यह ढांचा वाहनों से जुड़े यथार्थवादी सड़क स्थितियों को लक्षित करता है।

इसके अलावा, परियोजना तैयार-निर्मित MADDPG और PPO कार्यान्वयन को बाहर प्रदान करती है बॉक्स का, शोधकर्ताओं के लिए प्रवेश बाधा को कम करना, जिन्हें खुद एल्गोरिदम को लागू करने की आवश्यकता नहीं है। अन्य प्लेटफॉर्म, जैसे कि RLlib, उपकरण का एक व्यापक सेट प्रदान करते हैं लेकिन अधिक विन्यास की आवश्यकता होती है और सहकारी ड्राइविंग के लिए विशेष नहीं होते हैं।

निष्कर्ष

ऑटोड्राइव सहकारी एमएआरएल सहकारी स्वायत्त ड्राइविंग में अनुसंधान के लिए एक व्यावहारिक ओपन सोर्स फ्रेमवर्क है। यह यथार्थवादी AutoDRIVE सिम्युलेटर के साथ बहु-एजेंट सुदृढीकरण सीखने वाले एल्गोरिदम को जोड़ती है, जो तैयार किए गए कार्यान्वयन, स्क्रिप्ट और विज़ुअलाइज़ेशन टूल प्रदान करती है। इसकी मॉड्यूलर वास्तुकला और मुफ्त पहुंच के लिए धन्यवाद, परियोजना अनुसंधान कार्य, एल्गोरिथ्म तुलना, शैक्षिक प्रदर्शन और लेन बदलने, चौराहे समन्वय और प्लैटोनिंग जैसे कार्यों के लिए नीति विकास के लिए उपयुक्त है।