AutoDRIVE Cooperative MARL

Keterangan Kooperatif AutoDRIVE

Autodrive Kooperatif MARL adalah kerangka perangkat lunak open source yang dirancang untuk mengembangkan, melatih, dan mengevaluasi Multi- Agent Reinforcement Learning (MARL) algoritma dalam konteks mengemudi otonom kooperatif. Alat ini menggabungkan simulator AutoDRIVE dengan simulator yang dibuat oleh algoritma MARL populer seperti MADDPG dan PPO.

Kerangka kerja ini memungkinkan peneliti dan pengembang untuk membuat skenario di mana beberapa kendaraan otonom berinteraksi satu sama lain untuk mencapai tujuan yang sama - misalnya, perubahan jalur yang aman, koordinasi persimpangan, atau platooning. Proyek ini diadakan di GitHub di repositori Tinker- Twins dan didistribusikan secara gratis.

Fitur utama Kooperatif AutoDRIVE MARL adalah modularitas. Pengguna dapat menyesuaikan ruang observasi, fungsi imbalan, dan hyperparameter algoritma, serta menggunakan built-dalam skrip untuk pelatihan, evaluasi, dan hasil visualisasi. Hal ini membuat kerangka kerja sebagai alat praktis untuk pekerjaan penelitian dan tujuan pendidikan.

Fitur Kooperatif AutoDRIVE

Untuk siapa Kooperatif AutoDRIVE?

Peneliti kendaraan otomatis

Kerangka kerja menyediakan yayasan yang siap dibuat untuk percobaan dengan strategi kontrol kooperatif. Peneliti dapat dengan cepat menjalankan percobaan, membandingkan algoritma, dan hasil produksi berkat kode open-source.

Pengembang sistem multi- agen RL

Para spesialis pembelajaran reinforman akan menemukan penerapan dari MADDPG, PPO, dan metode lainnya, serta kemampuan untuk memperluas pustaka dengan algoritma mereka sendiri melalui arsitektur modular.

Siswa dan pendidik

Proyek ini dapat digunakan dalam kursus mengemudi otonom dan robotika. Contoh dan skenario sederhana menunjukkan prinsip interaksi multi- agen tanpa perlu menulis kode dari awal.

Insinyur simulasi

Spesialis bekerja dengan simulator dapat menggunakan kerangka kerja untuk membuat lingkungan pengujian virtual untuk sistem kontrol lalu lintas yang kooperatif.

Bagaimana menggunakan Kooperatif AutoDIVE MARL?

Pemasangan dan pengaturan

Untuk memulai, clone repositori dari GitHub. Kemudian instal ketergantungan dengan berjalan pip install -r requirements.txtKerangka kerja Linux, MacOS, dan Windows, dan memerlukan Python dan perpustakaan yang terdaftar dalam berkas persyaratan.

Simulator persiapan

Langkah berikutnya adalah mengunduh atau membangun simulator AutoDRIVE. Setelah instalasi, Anda perlu menentukan jalannya dalam berkas konfigurasi pelatihan. Ini adalah langkah penting karena kerangka kerja bersamaan dengan simulator ini.

Pelatihan dan evaluasi model

Setelah lingkungan dikonfigurasi, memodifikasi file konfigurasi untuk skenario dan algoritma yang diinginkan Anda. Launch training, misalnya, melalui script python train_maddpg.pyGunakan skrip evaluasi untuk menguji kebijakan terlatih. Hasil dapat divisualisasikan menggunakan built-in perencanaan utilitas.

Fitur kunci dari Kooperatif Otomatis MARL

implementasi algoritma MARL

Kerangka ini meliputi implementasi perangkat lunak yang telah siap dibuat dari MADDPG (Multi- Agent Deep Deterministic Policy Gradient) dan PPO (Proximal Policy Optimiation), dan juga mendukung menghubungkan multi- agent penguatan algoritma pembelajaran lainnya.

Integrasi dengan simulator otonom

Integrasi dengan simulator AutoDRIVE, yang model skenario mengemudi perkotaan, disediakan. Pengguna dapat membuat skenario mereka sendiri dan konfigurasi lingkungan jalan.

Lingkungan dan penyesuaian imbalan

Pembungkus lingkungan dan fungsi imbalan disediakan dan dapat diubah untuk tugas tertentu. Hal ini memungkinkan pelatihan untuk beradaptasi dengan berbagai tujuan perilaku kooperatif.

Alat latihan dan analisis

Paket ini berisi skrip untuk pelatihan peluncuran, modul penebangan, fungsi visualisasi, dan performa perencanaan. Pembelajaran pemeriksaan kebijakan dan kurikulum juga didukung.

Keberhasilan Kooperatif AutoDRIVE MARL

Penelitian dipercepat

Algoritma ready-made dan implementasi skrip menghemat waktu pada kode dasar menulis. Peneliti dapat fokus pada percobaan desain dan hasil analisis.

Modularitas dan perluasan

Arsitektur proyek dirancang dengan ekstensibilitas dalam pikiran. Pengguna dapat menambahkan skenario mereka sendiri, algoritma, dan modifikasi lingkungan tanpa menulis ulang kerangka inti.

Reproduksi dan keterbukaan

Menjadi projek open-source di GitHub, kerangka memastikan eksperimen reproduksi. Ini adalah keuntungan penting bagi penelitian akademik dan analisis algoritma komparatif.

Kesetiaan simulasi tinggi

Integrasi dengan simulator AutoDRIVE menyediakan lingkungan tes yang lebih realistis dibandingkan dengan simulasi 2D yang disederhanakan, meningkatkan kualitas evaluasi kebijakan.

Kekecewaan dari Kooperatif AutoDRIVE MARL

Tak ada informasi tentang kerumitan yang tersedia di sumber publik. Seperti alat khusus, memerlukan pengetahuan tertentu dalam pembelajaran penguatan dan beberapa waktu untuk mempelajari dokumentasi dan mengatur lingkungan. Hal ini juga layak dicatat bahwa proyek ini difokuskan pada penelitian simulasi dan tidak menyiratkan transfer langsung ke kendaraan nyata tanpa tambahan adaptasi.

Masalah apa yang bisa diselesaikan dengan Kooperatif Otomatis?

Perubahan jalur koperatif

Mengembangkan kebijakan untuk jalur kendaraan yang aman dan efisien berubah dengan beberapa agen di jalan.

Manajemen antar daerah

Membuat algoritma koordinasi bagi beberapa kendaraan di persimpangan untuk meminimalkan penundaan dan mencegah konflik.

Platooning

Penelitian dan mengembangkan strategi kontrol untuk konvoi kendaraan bergerak pada kecepatan dan jarak yang terkoordinasi.

Algoritma benchmark

Membandingkan kinerja berbagai penguatan multiagen mempelajari algoritma dalam skenario mengemudi perkotaan yang realistis.

Demonstrasi pendidikan

Menggunakan kerangka kerja untuk menunjukkan prinsip interaksi multi- agen dalam transportasi otonom.

Harga Kooperatif AutoDRIVE

Kerangka kerja didistribusikan secara gratis. Tak ada pendaftaran atau pembayaran yang diperlukan untuk mengakses repositori GitHub. Semua biaya hanya berhubungan untuk menyediakan sumber daya komputasional untuk pelatihan model dan memasang perangkat lunak yang diperlukan.

Kooperatif Otomatis Marl Term dari Penggunaan

Proyek ini dibuka dan dijalankan di GitHub. Tidak ada pendaftaran, pembayaran, atau pembuatan akun diperlukan untuk digunakan. Pengguna dapat mengkloning secara bebas repositori, mempelajari kode, membuat perubahan, dan berkontribusi untuk pengembangan proyek. Kontribusi dibuat melalui mekanisme standar GitHub.

Kooperatif AutoDRIVE Marl Avaibility

Kerangka kerja tersedia pada semua sistem operasi utama - Linux, MacOS, dan Windows. Repositori dimiliki oleh GitHub dan dapat diakses tanpa batasan daerah. Python dan ketergantungan yang terdaftar dalam berkas convenements.txt harus dipasang untuk menggunakannya.

Bagaimana Otomatis Kooperatif MARL berbeda dari alternatif

Di antara lingkungan multi- agen dan frameworks, yang terkenal termasuk PettingZoo Multi- Agen Lingkungan, Ray RLlib Multi- Agen Toolkit, OpenAI Gym MultiAgently ParticleEnv, dan Mava Multi- Agent RL Framework.

Perbedaan utama dari Kooperatif AutoDRIVE MARL terletak dalam integrasi ketat dengan hig- kesetiaan perkotaan simulator mengemudi AutoDRIVE. Sementara banyak lingkungan alternatif menggunakan model fisika sederhana dan skenario abstrak, kerangka kerja ini menargetkan situasi jalan realistis yang melibatkan kendaraan.

Selain itu, proyek ini menawarkan implementasi MADDPG dan PPO yang telah dibuat dari kotak, menurunkan penghalang entri bagi peneliti yang tidak perlu menerapkan algoritma sendiri. Platform lain, seperti RLlib, menyediakan perangkat yang lebih luas tetapi memerlukan lebih banyak konfigurasi dan tidak khusus untuk mengemudi kooperatif.

Kesimpulan

Autodrive Kooperatif MARL adalah kerangka sumber terbuka praktis untuk penelitian dalam kooperatif mengemudi otonom. Ini menggabungkan multi- agen penguatan belajar algoritma dengan realistik AutoDRIVE simulator, menyediakan implementasi yang sudah dibuat, skrip, dan alat visualisasi. Berkat arsitektur modular dan akses bebas, proyek ini cocok untuk penelitian, perbandingan algoritma, demonstrasi pendidikan, dan pengembangan kebijakan untuk tugas seperti perubahan jalur, koordinasi persimpangan, dan platooning.