文摘
作为一个热门研究领域,自主驾驶可能会为人类社会提供极大的好处。实现这个目标,目前的研究往往应用机器学习方法强化学习,使一个代理进行交互和刺激的环境中学习。然而,大多数模拟器缺乏现实的交通,可能导致缺乏现实的互动。本研究采用了智慧平台创建模拟器中车辆的轨迹NGSIM i - 80数据集提取交通为背景。建立NGSIM模拟器被用来训练模型使用近端策略优化方法。actor-critic神经网络应用,模型需要输入包括38特性,编码信息的主机周围车辆和最近的车辆在当前车道和相邻车道上。A2C被选为一个比较方法。结果显示,PPO模型优于A2C模型在当前任务通过收集更多的奖励,旅行更远,遇到危险事件在模型训练和测试。PPO模型实现了84%的成功率在测试与相关研究。本研究证明了公众驾驶数据集和强化学习可以提供一个有用的工具来实现自动驾驶。
1。介绍
广泛接受,自主驾驶(广告)可能有助于缓解交通拥堵,减少交通事故的问题,司机的疲劳伴随着手动驾驶(1,2]。实现广告,研究者和汽车公司奉献自己,近年来,广告的发展见证了大进展,商业化的广告已经意识到在一些特定的封闭的低速场景。
自主车辆的关键技术(AVs)包括感知、决策、规划和控制3]。其中,决策也称为推动政策负责决定AVs的行为(4]。AVs的推动政策需要感知所收集的信息和输出AVs的适当行动。在真实的场景中复杂的道路环境和动态交通,是至关重要的设计推动政策,认为驾驶环境的不确定性和协商与周边交通安全。
两种常见的方法已经被应用于建立AVs的推动政策(5]。一种方法是基于规则的方法,采用交通规则和专家知识构建规则库和一个适当的规则将选择根据AVs的现状6,7]。很难考虑所有的情况在现实世界的情况下,基于规则的方法可能产生不好当面对新形势8]。
另一种方法是基于的学习方法。与手动设计规则相比,上优于方法形式自动从数据驱动策略。机器学习的蓬勃发展使得使用表达模型神经网络来表示复杂的关系像驾驶。上优于方法是近年来吸引更多的关注9,10]。模仿学习(IL),基于著名的学习方法之一,已被研究人员应用实现广告(11,12]。IL的原则直接学习司机的行为之间的映射和相应的状态。尽管他已经被证明是有效的在一些研究中,还发现了一些缺点。第一,需要收集大量的司机的示威活动可以是昂贵和费时的。第二,学会了IL可能面临的问题的政策协变量转变问题13]。
基于另一种类型的学习方法是强化学习(RL)。在RL,代理学习从一种试错与环境交互(14]。RL不需要收集专家示威,并代理学习通过最大化长期回报这有助于避免协变量转变问题。结合深度学习,深入强化学习(DRL)已经成功地应用于解决围棋(15],雅达利游戏[16),完成loco-moto任务(17]。在应用程序中应用DRL的广告,Zhang et al。9)使用深决定性策略梯度算法实现自动驾驶。训练模型可以实现定义的目标并成功避免障碍。Cai et al。18)提出了一个叫做DQ-GAT结合深q学习算法和图引起网络来实现在不同的城市环境安全、高效自主驾驶。施等。19]试图解决控制问题的AVs开车没信号灯在城市交叉路口使用近端策略优化(PPO)算法。
在相关的研究中,使用相对简单的和不切实际的背景交通模拟器。由于RL算法需要与环境的交互,一个不切实际的环境可能会导致不安全的或不现实的行为的学习策略。在这项研究中,数据集从下一代模拟(NGSIM)提取并用作模拟背景交通环境。NGSIM提供,到目前为止,最大的美国国家高速公路交通由路边摄像机记录的数据集(20.]。NGSIM数据集的现实的和多样化的特性使其适用于创建一个模拟器训练和测试RL算法实现广告。因此,在目前的研究中,一个模拟环境建成将NGSIM流量数据集在智慧平台(21),和DRL algorithm-proximal政策优化(PPO) [22)是应用在高速公路实现广告的场景。
本文的贡献可以概括如下:(1)引入一个数据驱动的方法建立一个现实的环境背景交通使用NGSIM复制数据集。(2)提出一个现代DRL算法(PPO)来训练一个代理在这种环境下学习开车。(3)提出一种状态表示,提取最相关的周边交通的信息。(4)运用多个指标来分析训练模型的训练和测试结果。
剩下的纸是组织如下:部分2简要综述了本研究的背景。部分3描述了该模型的体系结构,状态表示的细节,该算法。部分4描述了基线的方法和评价指标。部分5介绍了培训和测试结果。最后一部分提出了讨论和结论。
2。背景
2.1。强化学习
马尔可夫决策过程(MDP)通常用于模型RL的序贯决策问题。MDP由一个元组 。具体地说,表示状态空间表示动作的空间, 表示的概率转移矩阵是过渡状态来后采取行动 , 表示奖励函数编码RL的目标或偏好的代理人,是折扣的因素。
RL的目标是寻求最优策略 的最大价值对所有国家 见下列方程(14]: 在哪里表示预期的总回报当以下政策 , 采样于 ,和下一个状态时采取行动吗在国家这是由过渡矩阵。
在模范自由RL,有三个基本的方法来解决最优政策,包括价值取向的方法,基于策略的方法,Actor-Critic方法。其中,Actor-Critic方法结合了其他两种方法的优点,它已成为现代的基础算法在RL (23]。
Actor-Critic框架,演员负责选择代理的行动为了与环境的交互,以及评论家评价代理人的行为负责。政府行动的价值函数 和优势 在方程(actor-critic定义2)和(3)分别如下:
2.2。近端政策优化
PPO的改进版本的actor-critic框架采用基于策略的方法。PPO是很出名的,突出表现在野生范围的任务(24]。因此OpenAIs的首选项目。
PPO的有两个主要特征。首先,它是发现香草政策梯度往往导致广泛的政策更新可能会带来高方差和收敛困难的训练模式。PPO遵循信赖域策略优化理论的早期版本的PPO和构造一个剪代理目的限制过度更新策略在每一步的策略梯度。演员在PPO的目的如下: 在哪里的概率是比定义为 和 剪辑的值范围之外的 。 是hyperparameter 0.2和建议吗的参数是演员。
估计(GAE)其次,广义的优点是所需的计算PPO的梯度算法。的线性组合n-step引导中使用GAE的低偏差和方差估计 ,定义如下: 在哪里是时间差异(TD)错误定义如下和的参数是评论家。
对于整个Actor-Critic,损失函数相结合的剪损失演员和评论家的平方误差定义在方程(7)。 在哪里表示计算损失的评论家 ; 表示熵的政策 ;和 是hyperparameters将0.5和0.01,分别。
2.3。NGSIM模拟器
高保真的驾驶模拟器训练至关重要RL代理学习开车。当前的研究利用开源模拟器像卡拉25和相扑26]。尽管有许多成功的应用程序已经使用这些模拟器,没有一个可替换主体交互在推动问题的解决。与多样化的道路使用者对AV发现当前挑战。智慧开发,使一个现实的和多样化的可替换主体交互来帮助解决挑战的交互广告的研究团体(21]。智慧的关键特性包括现实物理PyBullet物理引擎的支持下,交通仿真与相扑集成和基于网络的可视化与记录。
本研究采用了智慧平台构建NGSIM模拟器。NGSIM i - 80数据集提取和综合交通为背景。NGSIM数据集是迄今为止研究的独特交通已被许多研究人员广泛应用和分析(27,28]。i - 80数据集三种公共数据集包含在NGSIM数据集。i - 80数据集包含三个15分钟的时间是下午4点到下午15点。,下午五点到下午5:15。,和5:15 p.m. to 5:30 p.m. [20.]。这些时期代表交通情况冲数小时之前,过渡到冲小时,在匆忙的时间。相机位于路边录制的视频交通监测的区域,和车辆的轨迹从记录中提取视频。提取的数据集包含3366车辆轨迹。每个车辆速度、纵向和横向位置,车辆长度和宽度,以下车辆的ID,导致车辆在当前车道都包含在数据。
如图1设置NGSIM模拟器,首先,路线图的i - 80公路段需要创建。的具体道路线形参数i - 80公路被彻底调查,写在相扑道路网格式由智慧支持。道路全长约310米,6车道,包括合并斜坡车道。然后,智慧图书馆应用生成交通场景工作室。每辆车的路线交通被分配根据历史轨迹记录在i - 80数据集。最后,当NGSIM驾驶模拟器用于培训,选择一个随机车辆在交通作为东道主车辆控制的RL代理。自行车模型作为主机车辆的运动学模型。其他车辆的运动状态的交通更新根据他们的历史轨迹平滑的扩展卡尔曼滤波器。包括在交通因为有3366辆汽车,一个随机选择的一个车辆在交通作为东道主车辆可以带来高多样性的模拟器促进模型的训练和测试。
在模拟使用NGSIM模拟器,代理智慧图书馆提供了丰富的组的观测。模拟雷达用于收集信息在附近的车辆。主人的事件类车辆碰撞,公路,行驶在错误的方向也提供。智慧还提供了一个可视化工具叫做设想使视觉检查仿真与web浏览器。
3所示。该模型
如前所述,PPO算法选择训练代理人在上述NGSIM环境中学会驾驶。本节将介绍actor-critic的网络体系结构的核心组件PPO,状态表示的设计,和奖励功能。
3.1。Actor-Critic的体系结构
被测试后,actor-critic决心的架构作为显示在图2。actor-critic美国包括38的输入特性。它代表了代理驾驶期间观察到的信息。演员和评论家网络有相似的结构,都有两个隐藏层200单元,除了最后一层行为人利用双曲正切激活函数将输出值的范围(−1,1)。输出然后乘以每个行动的最大范围来确定适当的范围的每个操作。评论家输出现状的价值,和演员输出所采取的行动也就是代理的现状。完全连接网络(FCNs)激活和双曲正切函数使用整个架构。
3.2。状态表示和行动空间
的状态空间应包含所有必要的信息代理决定适当的行动。在目前的研究中,状态是由38个功能分为两个部分,如表中所示1。第一部分包含关于主机车辆的特性。第二部分主要是对周围的交通。不同的方式代表了周围的交通进行了测试。提取最相关的信息和降低状态空间的维数,提供的附近的车辆NGSIM模拟器进一步过滤6最近的车辆在蓝色,如图3。六个最近的车辆包括车辆在前方和后方的左和右邻车道,车辆,和下面的车辆在同一车道上。然后,欧几里得距离 ,相对速度定义为 ,纵向距离 ,和横向距离在黄色和主机之间的汽车周围的六个车辆计算。时间冲突(TTC)定义为 也代表计算碰撞的风险。应该注意的是,这里的距离是指的边框两辆车之间的距离计算的考虑车辆的宽度和长度。
本研究采用连续的行动空间。包括加速度和角速度的行动空间。限制行动的价值一个合理的范围,加速度的最大范围的范围设置为(−3,3)和最大范围的偏航率将[−1,1]的范围后,小飞等人的研究。8]。
3.3。奖励函数
奖励函数的设计是至关重要的,以确保RL算法的收敛性和性能。奖励函数应该编码的目标代理。本研究第一次尝试稀疏奖励配置。代理收到大量奖励当到达目的地和消极奖励当发生上述危险的事件。然而,结果表明,代理人不能学习有效NGSIM模拟器高维观测。
因此,本研究使用的奖励函数。经过仔细测试,奖励函数确定为以下三个部分的线性组合。
3.3.1。速度奖励
主机车辆的速度不应超过速度限制。因此,速度奖励设置为阻止代理违反速度限制。当代理的速度超过限速,代理接收−1负回报,否则,0.01的代理可以得到一个小奖励。
3.3.2。Lane-Keeping奖励
车道保持是最常见的任务在日常驾驶中,特别是在NGSIM模拟器,而拥挤的交通。鼓励代理在车道中心保持侧卧位,lane-keeping奖励由高斯函数方程计算(8)。当车辆车道中心的飘远,奖励越来越小: 在哪里表示距离当前车道和的中心μ和σ表示均值和方差的横向位置设置为0.9和0.2,分别。
3.3.3。终端奖励
当自我车辆到达终端,如与其他车辆相撞,到达目的地,或开车路上,仿真结束和重新启动时从一个随机的初始位置。终端奖励定义在以下方程:
整个奖励函数被定义为方程(10)。一个常数介绍了制定鼓励代理继续探索。 在哪里 的重量是速度奖励,lane-keeping奖励,和终端奖励。
3.4。该算法
该算法提出了算法1在下面。PyTorch用于实现该模型。亚当优化器是用于培训。几个技巧实施促进模型的训练包括使用学习速率的线性衰减,正交初始化网络的参数,和标准化的输入(29日]。
3.5。Hyperparameters
hyperparameters的选择是一个重要因素,可能极大地影响RL算法的性能。在这项研究中使用的hyperparameters仔细调整达到最佳的训练性能表中列出2。
4所示。调查和评价指标模型
4.1。A2C
A2C即优势actor-critic提出了解决高方差的问题在原始actor-critic方法(30.]。该算法估计的优势通过减去基线值奖励。A2C被发现更稳定的培训和有效的连续问题。因此,A2C被选为一个基线方法本研究与PPO相比。
相同的网络体系结构中使用的PPO模型采用如上所述的A2C模型一个公平的比较。状态输入,操作空间,并奖励PPO的设计都是相同的模型。RMSProp优化器被用来训练A2C模型,和学习速率设置为5e−5。中使用的hyperparameters A2C设置根据原始文献[30.]。
4.2。评价指标
评估模型的性能,采用三种指标如下:(1)如RL最具代表性的指数,平均轨迹计算的平均回报每一个轨迹的累积奖励一集被选为索引。RL代理应在培训过程中收集更多的奖励RL的目的。(2)评估代理驱动的能力安全NGSIM模拟器,平均距离由代理在每一集里都会被选为另一个指标。更长的距离由代理代表一个更好地与道路交通的谈判技巧。(3)各自的数据包括三个不同的危险事件与其他车辆相撞,行驶在错误的方向,和驾驶道路,被选为指标。
5。结果
图4礼物的变化意味着轨迹奖励PPO和A2C模型在训练。代理全球步骤代表总步骤与NGSIM模拟器作为交互X设在。可以看到,平均轨迹逐渐增加,两种模型的训练过程。奖励曲线波动,但在训练中非常普遍的RL模型(22]。PPO代理收集意味着轨迹的回报远高于A2C代理。PPO的模型,平均轨迹奖励培训大约3后趋于稳定e5全球步骤显示模型收敛。
图5显示了平均距离的趋势在训练。可以看出,平均出行距离增加的趋势增长的轨迹的回报。结果证明PPO剂和A2C剂既能学习期间提高驾驶技能的训练。PPO代理保持更长的距离比A2C代理在整个培训过程中,适合潮流的意思是轨迹奖励反映在图上4。PPO的代理,一开始,代理只能开车平均约30米,然而,当模型收敛约为3e全球步骤5,平均距离可以增加到310年的一些事件。平均距离的值波动约280年底PPO代理的训练。因为道路的总长度约为310米,结果表明,训练PP0代理可以几乎完成NGSIM环境。
测试训练模型,模拟重复了100次运行两个模型分别在NGSIM环境中。表3列出了测试结果包括成功率、平均距离,各自上述事件的数量。在测试期间,PPO代理达到目的地的84倍。剩下的16倍的代理没有完成的场景主要是碰撞。的平均距离是281.37米,非常类似于平均距离最后的训练。它表明,训练模型有一个公平的泛化能力。作为对比,A2C代理只有38%的成功率。的平均距离是122.95米远低于PPO的代理。A2C代理遇到大量的碰撞测试。
结果首先展示了一种性能优越的PPO模型相比A2C模型。因此,本节的其余部分只给出了PPO模型的进一步分析。在测试期间,速度、进展和相对速度记录和分析,以便更好地理解PPO的模型。测试模拟包括大约30613数据点总共51分钟。正态分布应用于符合上述数据的分布。
图6介绍了测试数据的速度分布。平均速度是7.75米/秒,标准的推导是3.76 m / s。相对较低的速度表明模拟环境已经非常拥挤的交通。图7介绍了在测试期间时间进展分布。数据与时间的进展(TH)高于10年代被排除在外,留下约30177数据点。可以看到,TH集中的价值约2.8年代只有一小部分分布式低于2 s。TH的分布表明,PPO代理可以导致车辆保持安全距离。
图8显示了TTC的分布。数据点与TTC高于8年代和低于0被排除在外。剩余的1880数据点被用于分析。大多数的TTC高于3 s揭示主机车辆的一个相对安全的策略。然而,TTC低于1.5年代的一小部分代表高概率的碰撞,其中一些最终导致碰撞。
显示的性能训练有素的特工,下面两个模拟的可视化。如图9、主机车辆用红色(ID 1695)被初始化的位置为关键帧1(图9(一个)),这是保持在同一车道,前方车辆保持适当的距离,直到路的尽头。在图9 (c),可以看出前面的交通是拥挤的,甚至代理学会停止一段等待前面的交通。
(一)
(b)
(c)
(d)
图10显示主机的模拟车辆合并到相邻车道。从最右边的车道(图10 ()),主机用红色车辆并入左侧相邻车道因为最右边的车道将缩小。可以看到,成功代理协商与周围车辆和合并到目标车道(图10 (d))。然而,应该注意的是,在我们的测试上面所描述的那样,大多数碰撞发生主机车辆初始化时在最右边的车道上,不得不合并进入左流量。合并的成功率低于平均水平。
(一)
(b)
(c)
(d)
6。讨论和结论
在目前的研究中,智慧平台特性可替换主体采用交互构建一个模拟器培训代理学习开车。NGSIM i - 80数据集应用于生成背景交通模拟器。内置NGSIM模拟器具有较高的多样性的车辆在后台流量随机选为主持人车辆控制的代理。PPO算法应用于火车代理,和该模型使用一个actor-critic神经网络。38特征选择作为输入,包括8功能主机相关车辆和30功能与周围的车辆。三个部分的线性组合的回报作为奖励功能,其中包括奖励惩罚超过最大速度的车辆,奖励鼓励巷维护和相关奖励终止状态。另一个DRL方法A2C被选为基线算法进行比较。
结果表明,PPO法优于A2C法在训练和测试阶段。从目前研究结果符合研究舒尔曼et al。22)中更好的性能被发现对PPO与其他算法相比,在不同的连续控制环境。至于PPO模型,融合,平均轨迹奖励和平均出行距离大大增加。训练有素的PPO模型实现了84%的成功率和281.37米的平均距离在模型试验。据陈et al。31日),训练模型取得了超过80%的成功率的场景。研究Folkers et al。32),该模型也有类似的成功率超过80%的城市场景。的成功率比较研究表明,该模型在NGSIM环境学会开车。中给出的两个模拟研究结果表明,该模型可以处理最常见和重要的日常驾驶技能车道保持、车辆等,初步可以并入车道模型。
该模型仍有高失败率尤其是合并的情况。总结了两个方面的原因。第一,奖励功能设计在这个研究鼓励车道保持;然而,车道改变需要合并的过程;因此,奖励函数的一种新的设计可能需要合并场景的更好的性能。其次,PPO代理只能初始化时遇到合并的情况在最右边的车道概率很低,相对较低的交互或合并场景中PPO代理的经验可能会导致性能下降。合并也是一个开放问题研究的广告(33,34,应该专门在这个话题上进行进一步的研究。
本研究有一些重要的局限性。该模型集中在高速公路multivehicle交互的场景。道路几何在模拟器上相对简单,也没有曲线或十字路口。未来的研究应该考虑考虑这些场景。同时,该模型使用精确的道路环境和周围的车辆信息可能是昂贵的在真实的情况;图像输入是一个有前途的选择在未来的研究。最后,本研究没有考虑舒适性设计的奖励函数。最近的研究强调了意义实现的人形广告模型,舒适性和人类反应特征被认为是提高AVs的可接受性(35,36]。目前的研究应该调查将这些因素纳入广告的设计模型。
数据可用性
使用的数据来支持本研究的发现可以从相应的作者在合理的请求。
的利益冲突
作者宣称没有利益冲突。
确认
这项工作是支持的联合研究和开发项目批准号下的襄阳城2022 abh006510,湖北省重点实验室的电力系统设计和测试电气车辆开放基金批准号下ZDSYS202217,湖北优越和独特的学科组下的“新能源汽车和智能交通”批准号XKTD012023,工业大学教育部的合作教育项目批准号220600805293405。