文摘

为核心技术领域的移动机器人,机器人避障技术的发展大大提高了机器人的运行稳定性。基于路径规划或指导,大多数现有的避障方法效率较低的表现复杂和不可预测的环境。在本文中,我们提出一个避障方法与分级控制器基于强化学习,可以实现更高效的自适应避障路径规划。与多个神经网络控制器,包含一个行动选择器和一个行动运动员组成的两个神经网络策略和两个单独行动。行动选择器和每个神经网络策略分别训练仿真环境中部署在一个机器人。我们验证了方法对轮式机器人。超过200个测试收益率高达90%的成功率。

1。介绍

机器人避障方法集成多个submethods是一个全面的方法。一般来说,完成机器人避障是分为三个部分:主要部分,核心,和后端部分。其中,如机器人的避障和路径规划算法模型,相当于人类大脑的决策,作为其核心。主要是用于获得障碍信息(通过相机或雷达)来模拟人类的视觉。在人类的神经系统,后端部分是用于自动控制,接收信号从大脑控制身体的行为,如图1。进步这三个部分将推动机器人的避障技术,允许更快和更好的避障和扩大其避障在各种环境中适应性。

从导航和路径规划的角度来看,大多数传统的避障方法计划一个或多个路径或导航路径根据障碍物的位置在当前为避免空间环境。人工势场法,提出了哈提卜(1),倾向于达到完美后很多改进和扩展在许多研究人员的努力下,允许范围广泛的应用程序。汉引入动力学条件(2),用于生成短而平滑航线空中无人机(UAV)条件下避障。

提出了早在1968年(3),一个算法还显示领域的广泛应用与各种改进路径规划,比如一个数据驱动的提出的算法(良4]。近年来也努力等混合路径规划算法(5)和各种类型的仿生路径规划方法应用于不同的场景(6]。然而,在避障方法基于路径规划,缺乏环境信息不熟悉的实际应用环境常常被无视。也是这样的人走路,只能做出决策的根据当前信息通过视觉。因此,我们在此考虑建立一个控制器专业处理障碍,没有考虑到路径规划。

2。方法

2.1。深入强化学习

近年来广泛应用的模范自由深强化学习(DRL)领域的机器人,它可以为避障技术提供创意和解决方案。最大的特色在于它使机器人(程序)在与环境的交互自主学习,这很类似于人类的成长和学习的过程。“尝试和错误”概念的核心机制是强化学习,和“奖励”和“点球,”为基本的学习手段,提出了华尔兹和傅Jingsun控制理论早在1965年(7]。深入强化学习近年来取得了巨大的进步。DQN(深问网络)算法和精制Mnih等人在2013年和2015年(8,9)提供了强化学习的有力“武器”。这深刻的强化学习算法采用多个组件的控制器。

然而,“试错”学习方法需要大量的训练的有效模型。尽管如此,硬件系统,如机器人不能大量的“试错”培训避障方面的时间和经济。因此,训练仿真环境中成为一个更好的选择。许多最近的研究表明,获得的经验训练仿真环境中也可以应用到实际环境中(10,11]。是至关重要的减少仿真环境和现实之间的差距在训练仿真环境。Neunert差距的潜在原因分析(12李),解决了其中的一些被系统识别(13],DeepMind增强忠诚的团队估计模型参数(11]。开明的通过这些努力,我们重写了CarRacing-v0环境基于OpenAI健身房仿真环境(14让我们选择器的训练。

虽然训练没有任何人类的指导也能产生更好的模式15),与人类指导培训与学习的方向是更有效率。此外,现有的深度学习算法和神经网络更有效同时学习多个策略(16]。subaction的单独的培训策略和选择策略(17,18)是基于行为的机器人的一般方法(19),使模型训练更有效。

基于上述挑战,先前的研究人员的努力,一个避障控制器,本文提出了一种层次结构。它只选择了从机器人的当前视角可观测的信息作为输入,不考虑路径规划,允许它来处理现实情况更接近人们的进展。为了避免障碍,我们一个避障动作分解为多个subactions训练DQN-based行动选择器选择和适当的操作运行,包括左转,右转,气体,停止。我们部署了该方法在轮式机器人,如图2,进行了200多个实验在现实物理环境通过安排人工障碍,避障的成功率达到90%,证明了该控制器的有效性。

2.2。概述

与传统的路径规划方法,我们采用一个控制器来避免障碍。图3介绍了控制器的总体框架。行动选择器,还有以下四个行动跑步者,担任整个框架的核心。DQN算法基础上,行动所做出的决定选择依据的信息环境和持续的行动在当前周期。行动选择器发送一个动作决定行动的跑步者在每个运行周期运行。

我们避障动作分解成四个subactions:右转、左转、天然气和制动。其中,右转,然后左转的subactions也基于DQN算法和确定这个方向的偏转角度基于神经网络的决定。subactions天然气和刹车,单一的动作,不需要操纵的模型和直接收到了选择器的命令。行动选择器和每个操作分别训练我们重写并行仿真环境,使设计的复杂函数不必要的损失和参数调优和错误找到更方便。

2.3。模拟环境

在CarRacing OpenAI健身房的环境14)(图4(一)),赛车的设计任务对象代理通过整个尽快跟踪,没有穿越跑道或边界。在追求完美,建模仿真的健身房涉及网站的摩擦,赛车的轮子,ABS传感器,等。在此基础上,完善CarRacing仿真环境,称为Car2D。

灵感来自[11- - - - - -13CarRacing),我们调整物理模型(摩擦,轮式机器人的质量,等等)和添加随机噪声,使它更接近我们物理机器人的实际情况(图4 (b))和测试网站。原路代程序不适合一个避障任务训练它生成一个完整的环形道路,而不是障碍。我们还重写了部分道路,增加了障碍代函数,的形状、数量和位置的障碍可能是伴随着随机噪音的产生(数据4 (c)和4 (d))。随机化在Car2D可以增强鲁棒性的培训对象,缩小之间的差距模拟环境和实际环境中,已经证明了研究[10,20.,21]。

的性能的四个subactions机器人在模拟环境中,我们完成了设计基于现实环境的物理模型。每次运行气体操作命令运行,代理将为机器人提供平等的力量前进,与行动时的最大速度达到了连续几个周期。的力量将逐渐失去了由于地面摩擦如果动作停止。汽车将失去力量由于运行制动操作命令,与制动距离决定了汽车的质量和物理模型的精化。

避障的任务对象不需要长跑道或各种曲线;因此,只有有限的笔直的跑道是Car2D生成。根据设定条件,环境发出停止信号停止这种培训和重新启动新的一集(图5)。每个周期Car2D将RGB图像生成根据前面的有限视角代理并添加随机噪声之前提供给控制器。

2.4。行动选择器

作为控制器的核心组件,行动选择器是基于DQN算法实现。相比之下,q学习算法(22),该算法近似函数值与卷积神经网络和杠杆的经验回答机制来提高神经网络的效率。此外,一个神经网络的主要介绍了净DQN算法生成当前的Q值和目标净以相同的结构为主要介绍了生成目标的Q值。主要的参数净被复制到目标每一个特定数量的迭代。通过减少当前的Q值之间的相关性和目标Q值,算法的稳定性已得到改进。DQN算法提供了算法的伪代码1(23]。DQN的详细描述,请参考[8,9,24),这里只提出了这个模型的相关细节。

在每个运行周期,行动选择器使行动决策基于环境观察到代理,以及在前面执行的操作运行周期。直接在仿真环境中使用的RGB图像的输入选择器将很难将模型应用于实际物理环境。对于相同的输入模型在现实物理环境和仿真环境,我们加工的RGB图像相机前的机器人作为一个矩阵描述的位置障碍,表示 。subactions左转和右转是互相排斥的;因此,只有12个国家可供操作的行动空间选择器。我们用一个一维向量的长度3描述的动作在前一个周期运行,表示 。因此,运行周期的状态空间特点如下:

表1介绍了符号和奖励条款。奖励函数被表示为 ,表明获得的回报 通过行动 ,这是定义如下:

距离奖励鼓励代理尽可能地前进;障碍对撞击障碍物碰撞处罚实施;跨越边界的出轨处罚实施;处罚的时间鼓励代理尽快避免障碍阻止他们停止到位;避障的奖励实施成功的避障;和速度奖励实施节流行动成功的避障的前提下为另一个奖励,鼓励代理尽快移动。重要的是要注意,我们设计的多种奖励和惩罚机制是不叠加在代理在同一时间。我们采用课程学习(CL) [25),培训从简单开始,单身,和小障碍,当前的事件并没有停止即使触及一个障碍。代理之后能够完成小任务对象,任务难度会增加,如增加面积和数量的障碍或随机化障碍的位置。

分数的函数被表示为当前状态 ,评估当前行动的考虑到未来的状态,指示的期望的和代理运行后获得的奖励行动在国家到当前的事件。为国家 ,和行动运行时,存在: 在哪里代表了期望, 折现系数 ,是用来衡量未来回报的影响程度和当前的奖励价值。越接近是 ,影响未来的回报就越大 被培训。最优值操作的函数被表示为 ,存在: 然后状态转换方程可以得到: 在哪里的衰变学习速率吗 。采取作为一个标签,网络训练的损失函数可以得到: 在哪里可以表示如下:

图6提供深度卷积神经网络的结构主要用于我们的网络,和目标网有一个相同的结构和不同的参数。不同于一般的结构DQN算法,我们插入一个辍学层在过去完全连接层,这才使得在训练,而不是模型时使用。

2.5。行动跑步

跑步者的行动,只有两个动作,“右转”和“向左转”,提供机器人的偏转角,需要培训。两人还在DQN算法的基础上,具有相同特征的空间状态选择器输入的行动,因此没有阐述。然而,行动空间共有36个州,从分类来的步长 。实验表明,偏转角超过经验会导致机器人向相反的方向移动,最终离开跑道。

3所示。结果与讨论

本节介绍了实验结果在现实环境和分析模型的缺点。(一)实验设置

我们使用自建轮式机器人,如图7,验证模型。模型采用STM32F4芯片的驱动板,覆盆子π4 b上电脑,ubuntu 18.04系统上电脑。红外摄像头和两个独立的红外距离米收集环境特征。障碍的位置的矩阵描述了主要通过识别和测距的障碍。

测试表明,运行频率的配置在训练和验证的模拟环境直接影响避障的成功率。图8展示了一个模型验证100倍的奖励曲线在90赫兹和37赫兹,在37赫兹训练5600枚炮弹。

从曲线可以看出,相同的模型完成避障任务在大多数情况下,当运行在90 Hz但失败了37赫兹。这意味着模型运行的次数足够多的第二个机器人有一个连贯的避障动作。最后,我们组的训练和测试频率90赫兹的模拟环境,确保培训效率,防止代理人的行动振荡。在实际环境中测试时,控制器将其行动振荡,因为它跑得太快了。因此,我们有困难的前端硬件环境信息提供的轮式机器人,以55 Hz频率运行实时监控障碍。控制器的运行频率设置为30 Hz,以便顺畅运行的机器人,避免振荡。

部署模型未能发挥充分作用由于计算能力的限制,我们量化模型来提高其运行效率,参照一些方法引入或中提到26- - - - - -28]。在测试期间,机器人是设定一个固定的初始速度,和避障控制器时激活一个障碍被确认控制机器人避免障碍。

模型用于模拟环境和培训期间是用Python编写的,但大多数机器人的程序用c++和C语言编写的改进模型的效率。(b)实验结果

验证了控制器的有效性,我们进行了测试在三个案例:一个障碍,多个障碍(图9(图),不规则的障碍10),共有75个不同的障碍。在超过200个测试,观察成功的避障在大多数情况下,多个或不规则的障碍,成功率高达90%。

不像在我们的模拟环境中,存在没有道路限制一些机器人任务在现实环境中,比如在野生草原和沙漠。为了测试控制器的泛化能力,我们把道路限制从真正的环境并进行了测试100次,也完成了避障控制器任务,成功率达到91%。然而,有好几次当避障效果未能达到预期。小差距的两个障碍,一个更远的路径,而不是通过缺口将选项(图11上半部分),类似于一些性能模拟环境与小或几个障碍(图11下半部分)。看来,当条件允许时,控制器将最远的利用可行驶的空间,并尽可能远离障碍。我们设置20个不同比例的阻碍道路的宽度在模拟环境中,每个测试100次。图12显示了曲线避障的成功率。

可以看出,避障的成功率较低的比率增加障碍的道路宽度。避障失败当代理不能通过障碍之间的差距,成功率90%。我们的想法是验证。

4所示。结论

提出了一种分层的机器人避障控制器的进步,使机器人能够避免障碍没有路径规划灵活。通过将避障控制任务分解为多个subactions气体,左转,右转,和刹车,一个行动策略可以分解为多个独立的培训策略。课程学习(CL)的概念被用来提高培训效率。有限的信息面前,我们的控制器使我们更近了一步实际行动的人处理未知的环境。

控制器在仿真环境中训练之前部署在轮式机器人,产生令人满意的结果与一致的性能与仿真环境。轮式机器人部署与控制器产生一个成功率高达90%的200多个避障的测试。它也适用于一个类似于野生环境没有道路限制,表现出良好的性能。

控制器是有效的密集的障碍与小缺口。可能需要更多的调整运行动态障碍产生更好的结果。在这些情况下,传统的避障方法可能比我们的控制器时完整的环境信息。我们将做出更大的努力解决问题,提高控制器。

数据可用性

所有的数据、模型和代码生成或使用在研究出现在提交文章。

的利益冲突

作者宣称没有利益冲突。

确认

本文中描述的工作是完全支持的资助学生的创新平台和安徽理工大学创业培训项目。