AutoDRIVE Cooperative MARL

自动合作市场描述

自动驱动 合作MARL是一个开源软件框架,旨在开发,培训和评价合作自主驱动背景下的多代理强化学习(MARL)算法. 该工具结合了高纯度城市驱动模拟器AutoDRIVE与MADDPG和PPO等流行的MARL算法的现成执行.

该框架允许研究人员和开发者创造多种自主车辆相互互动实现共同目标的情景——例如安全通道的改变,交叉协调,或排队. 该项目设在Tinker-Twins仓库的GitHub上,免费分发。

AutoDRIVE Corporation MARL的一个关键特点是模块化. 用户可以自定义观测空间,奖励功能,和算法超参数,以及使用内置脚本进行训练,评价,以及结果可视化. 这使框架成为研究工作和教育目的的实用工具。

自动驱动 MARL 合作特性

谁是自动合作市场?

自动车辆研究人员

该框架为合作控制战略的实验提供了现成的基础。 研究人员能够快速运行实验,比较算法,并复制结果,这要归功于 开源代码。

多代理 RL 系统开发者

强化学习专家将发现MADDPG,PPO等方法的实施,以及利用自己的算法通过模块架构扩展库的能力.

学生和教育工作者

该项目可用于自主驾驶和机器人课程. 现成的示例和情景简化了演示多代理交互原理而不需要从零开始写入代码.

模拟工程师

与模拟器合作的专家可以利用框架为合作交通控制系统创造虚拟测试环境.

如何使用自动合作MARL?

安装和设置

要启动, 请从 GitHub 复制仓库 。 然后通过运行安装依赖性 pip install -r requirements.txt. 框架在Linux, macOS和Windows上工作,需要Python和要求文件中列出的库.

模拟准备

下一步是下载或构建自动DRIVE模拟器. 安装后,需要在训练配置文件中指定其路径. 这是一个重要的步骤,因为该框架与这个模拟器一起工作。

培训和评价模式

一旦环境配置完成,请修改您想要的情景和算法的配置文件。 启动培训,例如通过脚本 python train_maddpg.py。使用评价脚本测试训练有素的政策。 成果可以通过内在规划公用事业进行可视化。

AutoDRIVE合作社MARL的主要特征

MARL 算法执行

该框架包括MADDPG(多代理深定政策梯度)和PPO(近似政策优化)的现成软件实施,还支持连接其他多代理强化学习算法.

与自动模拟器合并

与模拟城市驾驶模式的自动驱动模拟器进行整合。 用户可以创建自己的情景和道路环境配置.

环境和奖励定制

提供了环境包装和奖励功能,可以针对具体任务进行修改. 这使得培训能够适应各种合作行为目标。

培训和分析工具

该软件包包括用于启动培训的脚本、记录模块、可视化功能和性能绘图。 还支持政策检查和课程学习。

自动合作市场的好处

加速研究

已准备好的算法和脚本执行节省了写基础代码的时间. 研究人员可以专注于实验设计和结果分析.

模式和可扩展性

项目建筑的设计考虑到扩展性。 用户可以在不重写框架核心的情况下添加自己的情景,算法,以及环境修改.

可复制性和开放性

作为GitHub上的开源项目, 框架确保实验可复制。 这是学术研究和比较算法分析的重要优势.

高度模拟忠诚

与AutoDRIVE模拟器的结合提供了比简化的2D模拟器更现实的测试环境,提高了政策评价的质量.

AutoDive合作社MARL的缺点

公共来源没有关于框架缺点的资料。 与任何专门工具一样,它需要某些强化学习的知识,还需要一段时间来研究文献和配置环境。 还值得注意的是,该项目的重点是模拟研究,并不意味着在没有额外适应的情况下直接转移到实际车辆。

Autodrive Cooperative MARL解决了哪些问题?

改变合作社航道

制定安全高效的车道改造政策,在路面设置多代理.

交叉管理

为交叉路口的多个车辆创建协调算法,以尽量减少延误,防止冲突.

铺设

研究制定协调行驶速度和行驶距离的车辆车队控制策略.

算法基准

比较现实城市驱动情景中各种多代理强化学习算法的性能.

教育示威

在课程中利用框架在自主运输中展示多代理互动原则。

自动合作市场定价

该框架免费分发。 访问 GitHub 仓库不需要注册或付款。 所有费用只涉及为模型培训和安装必要软件提供计算资源。

自动合作MARL的使用条款

该项目开源,并在GitHub上托管. 无需注册、付款或设立账户。 用户可以自由地克隆寄存器,研究代码,进行修改,并为项目的开发做出贡献. 捐款是通过标准GitHub机制提供的。

自动合作市场

该框架可在所有主要操作系统——Linux,macOS,和Windows上找到. 该寄存器位于GitHub上,可访问,无任何区域限制. Python 和在要求.txt文件中列出的依赖性必须安装才能使用.

如何自动驱动 合作MARL不同于替代品

在类似的多代理环境和框架中,值得注意的环境包括PettingZoo多代理环境、Ray RLlib多代理工具包、OpenAI Gym多代理粒子Env和Mava多代理RL框架。

AutoDRIVE Corporation MARL的主要区别在于它与AutoDRIVE Corporation MARL的紧密结合. 高纯度城市驾驶模拟器自动驱动. 虽然许多替代环境使用简化的物理模型和抽象情景,但这个框架针对的是涉及车辆的现实的道路状况.

此外,该项目还提供现成的MADDPG和PPO的实施工作 对不需要自行执行算法的研究人员,降低进入屏障。 其他平台,如RLlib,提供了更广泛的一套工具,但需要更多的配置,并不专门用于合作驾驶.

结论

自动驱动 合作MARL是合作自主驱动研究的实用开放源码框架. 它结合了多剂强化学习算法和现实的AutoDRAVE模拟器,提供现成的实现,脚本,和可视化工具. 由于其模块化建筑和免费进入,该项目适合研究工作、算法比较、教育示范以及诸如改变车道、交叉协调和排队等任务的政策制定。