文摘

电动汽车的普及在收费面临困难等问题,难以选择快速充电的地点,并综合考虑多个因素和车辆交互。与导航技术的日益成熟应用vehicle-road协调等方面,建议最优动态充电电动机群基于自适应学习方法使边缘计算过程电动机群充电计划有效执行的最佳途径。我们提出一个方法的电动汽车充电服务调度基于强化学习。首先,提出了一个智能交通系统,在此基础上快速充电站之间的交互的框架,建立了电动汽车。随后,交通部分的动态行程时间模型成立。基于电动汽车车主的习惯,电动汽车充电导航模型,提出了强化学习奖励模型。最后,提出了电动汽车充电导航调度方法来优化快速充电站的服务资源。仿真结果表明,该方法之间的充电负荷平衡,能有效提高电动汽车的充电效率,并提高用户满意度。

1。介绍

的广泛发展电动汽车在不同的国家在世界各地,电动汽车的数量增加,电动汽车充电困难等问题,严重的损失,电压下降,充电安全,严重的山峰预计[1- - - - - -3]。电动汽车充电和充电路径规划应该得到更多的关注。电动汽车的驾驶时间长于nondriving时间,快速充电是一个重要的力量补充方法(4,5]。无序充电的电动汽车不仅会造成拥堵的快速充电站,区域电网,这就增加了负担,也导致集中充电时间导致变压器过载等问题,增加了peak-to-valley差异,这不利于安全运行的分销网络6,7]。因此,合理的引导和充电车辆调度与快速充电需求是有利于减轻负担的地区电网在满足充电需求(8,9]。

针对上述问题,国内外学者进行了一些研究。在[10在[],我们研究了均匀充电节点11)和扩展到非均匀充电节点(12)通过求解混合整数非线性规划问题(适应)的单一车辆。车辆在每个节点的剩余能量表示为一个动态规划(DP)问题一个电动车辆路径问题,并提供了DP-based算法确定最优路径和电动汽车的充电策略子消息流水平。在[13),我们提出了一个分布式电动汽车路径选择系统基于分布式蚁群算法(ACA)。电动汽车的分布式体系结构最小化总旅行最近的目标提出了一套快速充电站。在[14),我们提出了一种改进的迪杰斯特拉的方法来解决多目标优化问题,并获得了多目标优化函数包括旅行时间,快速充电站数量的车辆,和充电负荷,从而优化电动汽车充电路径规划和减轻快速充电站。缺乏周边交通拥堵减少等待时间,提高了充电设施的可用性。

上述文学有其自身的特点对收费路线导航和充电调度,但当研究电动汽车充电路线导航,它只关注经济效益和等待时间的车辆,而忽略了影响快速充电站负荷大规模电动汽车充电的时候。大多数充电调度使用一个固定的策略而忽略了各种因素的影响,如电动汽车的数量的增加和用户习惯,不同时期的电动汽车充电调度。

在这种背景下,我们提出一个基于强化学习的电动汽车充电服务调度方法来满足电动车主的需求。论文的结构如下。节2,我们提出一个快速充电站和电动汽车系统框架和使用这个框架来研究电动汽车充电导航。节3,我们建立一个动态交通路段行程时间模型,提出电动汽车充电导航模型。节4将强化学习,我们进一步提出了电动汽车充电导航调度方法合理优化每个快速充电站的服务资源。节5,我们使用一个特定的城市作为一个模型,并比较该方法的仿真结果与传统的电动汽车充电导航方法来证明该方法的优越性。结论和进一步的研究方向中概述部分6。

2。快速充电站和电动汽车系统框架

逐渐发展和应用的4 g和5 g通信、导航和vehicle-road协作的应用各种技术变得越来越成熟(15,16]。同时,边缘计算技术还提供了技术保证快速响应、低错误率的操作环境。中央调度节点的计算负担转移到用户侧边缘,大大提高了处理效率,使电动车快速充电站之间共享信息和同步处理(17]。

目前,电动汽车可以共享信息与快速充电站和其他系统通过互联网上传状态和电动车辆的实时位置,并实时导航基于电动汽车的位置(18,19]。此外,各种电动机群优化动态充电方法的基础上提出了自适应学习,结果表明,该方法可以实现最优的解决方案。在此基础上,最优路线收费安排可以有效地进行电动机群的高效和动态交通系统。由上述研究的启发,提出了一种电动汽车导航系统结构和快速充电站。电动汽车导航系统的结构和快速充电站在本文中如图1。与互联网平台为中心,系统动态更新交叉信息,为电动汽车提供动态收费和导航策略指的是道路状况信息和快速充电站信息。导航结合道路状况信息和每个快速充电站的等待时间和选择快速充电站整体效率最高的为自己充电。快速充电站本身进一步指控电动车根据各种因素,如天气、能源供给和需求,和用户习惯。不时,交通信息和快速充电站信息刷新根据上述选择,并再次充电提供导航策略。

3所示。初步的模型建立

本部分首先提出了一个动态交通路段行程时间模型,在此基础上,建立了一个充电导航模型,考虑距离,时间,为一个电动车和经济效益。

3.1。交通部分的动态行程时间模型

电动汽车的动态路径选择模型本文是基于道路段的动态行程时间模型。首先,运动车辆的道路段所描述的累积数量的车辆 ,代表汽车的数量通过观测点的总和之前的时间 。根据流量和密度的定义,交通流量 和交通密度 如下: 在哪里 和 汽车的数量在职位在时间汽车的数量在的位置在时间 ,分别。

根据交通量和交通密度,交通速度 可以得到如下:

假定路段上的车辆均匀分布在路段,交通密度的路段如下: 在哪里和路段的入口和出口的位置吗 ,分别;是汽车的数量,可以适应在路段单位长度吗 ;和路段的长度是 。

根据上面的公式,车辆速度在路段可以表示如下(20.]: 在哪里自由流动截面速度吗 ; 和最大密度和最小密度对部分吗 ,分别;是最低车速;和和系统模型参数。

它可以得出结论,经过的时间的路段表示如下:

如果收到一半道路拥塞信号,系统减少延迟时间改变了我们的路线。所有者的主观概率变化的路段路部分是 : 在哪里是部分的旅行时间吗在路线;是部分的旅行时间吗在路线;是最大的旅行时间;和是一个主观的系数。

因此,驱动部分的长度可以用主观概率近似 : 在哪里路段的长度是 。

3.2。电动汽车充电导航模型

电动汽车需要被经常使用,这将对快速充电的需求。根据不同车辆的充电需求,实施不同的导航方案可以有效地提高车辆的响应速度。本节需要全面考虑驾驶距离达成快速充电站,开车的总时间和充电,充电经济建立充电导航模型。

电动车主与高总行驶距离要求,本文考虑的方向快速充电站的原则是一样的目的地方向时,所有车辆都连接到互联网。这是建议最短的距离之和从起点车辆的快速充电站和快速充电站到目的地表示如下: 在哪里和路径节点;路径节点的总数;和路段的长度从起点快速充电站和快速充电站到目的地与和结束节点;和是一个变量等于1的路段和结束节点,否则等于0。

电动车主与高总时间的需求,本文提出了总充电时间最短为目标优化充电路径:

的具体解决方案和如下: 在哪里是快速充电站的旅行时间;在快速充电站的等待时间,这是由车辆的数量;是充电时间;是预期的电压充电结束时,将全部费用的95%;剩下的力量快速充电站;充电器功率;是充电效率;是电动汽车电池容量;负责电动汽车的初始状态;和是电动电动汽车每公里消耗的能量。

电动车主与高成本的需求,本文提出了最低成本为目标优化充电路径: 在哪里是电在充电路径和成本消耗吗成本消耗的快速充电站。

4所示。电动汽车充电导航基于强化学习的调度策略

强化学习算法的目标是找到一个最优策略基于马尔可夫决策过程累积的预期回报率最大化。在本节中,电动汽车的行驶距离,总驾驶和充电时间,充电经济并行优化为电动汽车的所有者提供最好的电动汽车充电导航调度策略21,22]。

4.1。策略梯度算法

强化学习是学习的基本原理从探索性实验,获得行动策略,以实现既定的目标。学习的主题是代理;对象与代理交互的环境。强化学习是一种抽象的面向目标的交互式学习问题。在某些环境中状态,代理人采取行动,和环境响应代理的行为,提出了新的环境状态到代理和提要一定奖励回代理。代理和环境继续互动实现的终极目标最大化的回报。

剂和环境之间的相互作用过程可以被描述为一个时间序列:在一定时期内 ,代理需要一定的行动一个根据当前环境状态 ;在接下来的时期 ,由于代理人的行动 ,环境状态变化来 ,和代理获得 。在每一个时期,所有操作的概率分布,代理可以在当前环境状态被称为代理的策略 。代理不断改变其策略通过交互和最终达到的目标最大化的回报。

强化学习问题满足马尔可夫特性;下一时期的状态,只有相关的状态当前时期,与国家无关之前的时期。基于策略的方法是用来表达一种政策。假设电动汽车充电的策略和导航控制由一个 - - - - - -一步的决定,代理获得相应的训练轨迹通过与环境的交互如下: 在哪里代表着行动决定的时间在培训,代表国家在行动在培训和代表行动后获得的奖励在培训。预期回报的奖励所有存储轨迹如下: 在哪里 轨迹的奖励价值吗 , 轨迹的概率是 , 的概率是 在国家 ,和 选择行动的概率是根据输入和输出策略在国家 。

因此,强化学习可以表示为解决最大预期收益回报 。实现策略、参数的偏导数获得获得优化策略函数如下:

强化学习策略梯度算法等价于求解一个偏导数的问题。如果参数设置更新的正方向,奖励增加,轨道的概率会增加,反之亦然。策略梯度算法的伪代码1下面给出。

4.2。选择动作

以车辆出行路径为例,控制参数 ,,在每个十字路口车辆有3个可能的行动。值范围是 。0意味着前进,1表示左转,和2意味着右转。

4.3。环境状况

当电动汽车执行一个操作在一个十字路口,作用于环境,状态值对应于环境反馈 ,也就是说, ,尺寸是3。其中, , ,和对应的距离、时间和成本,分别执行当前操作之后。在获得环境状态值,相应的奖励值计算,同时,环境将搬到下一个状态。

4.4。奖励功能设计

奖励函数设计如下: 在哪里代表执行的行动获得的奖励价值电动汽车在每个时间节点,也就是说,当前轨迹的质量行动。其中, , ,和是权重系数:当老板只关心的距离、= 1,其余为0;当老板只关心的总时间、= 1,其余为0;当老板只关心成本,= 1,其余为0;如果业主选择关注三个变量,设置 ,根据比例和赋值。

4.5。控制器

为电动汽车充电导航、基于策略的调度算法梯度算法根据个人习惯不同的电动汽车的主人。通过观察信息选择行为直接反向传播和直接使用奖励加强和削弱选择行为的可能性,选择良好的行为的概率将增加下次,下次和不良行为将被削弱。

使用一个三层的小波神经网络。小波神经网络是一个多层前馈神经网络训练根据误差反向传播(23]。本文使用了一个三层神经网络,也就是说,一个输出层,一个输入层、隐层,如图2。状态被设置作为神经网络的输入层。它的尺寸是3;神经网络的隐层神经元有20;和输出层包含3个神经元,对应3输出操作。

之间的连接权重和偏压条件输入层和隐层和隐藏层和输出层之间是由一组参数的表示 。输入和输出的策略训练小波神经网络策略的身体被定义为 。

的激活函数输入层和隐层之间的连接 ,和它的函数公式如下:

激活函数连接隐藏层和输出层的小波基函数,及其函数公式如下:

根据算法的伪代码,具体培训过程可以得到如图3。

5。仿真结果和讨论

城市图4作为一个模型,包括21个节点,32路部分,和4快速充电站。数量标志在路上部分代表公里路段的长度。快速充电站位于节点9日12日14日和19日。电动汽车的电池容量90千瓦·h,巡航距离是400公里,快速充电站功率是350千瓦。当电动车快速充电站,是90%;训练参数如下:训练轮的数量是1900,和学习系数是0.95。折现率是0.95。

车辆随机集的初始位置和目标位置(21日节点)和随机集的剩余功率(不高于30%)。根据用户选择的距离,总时间消耗,成本作为奖赏值,车辆训练从初始位置到快速充电站充电和快速充电站到目标位置。培训完成后,最后奖励变化如图5。

图5表明,随着训练的数量增加,培训奖励逐渐增加。600训练之后,曲线显示了一个振荡趋势,奖励在190年左右震荡。在随后的培训、奖励基本上是稳定的。保存从去年获得神经网络模型训练参数。

喂饲交通流分布通过城市交通仿真如图6。绿线代表畅通,橙色代表交通拥堵,红色代表沉重的交通拥堵。图中所示的交通流6,保存的强化学习模型是用于获得车站选择概率的电动车当每个网络节点启动时,如图7。它可以得出结论的前提下考虑交通拥堵,训练有素的强化学习模型可以有效地选择快速充电站根据目标节点对应于较短的距离。

现在,电动汽车从节点13,最后节点2为例,分析其动态站选择策略。考虑距离、总时间和成本要求业主获得充电导航开车期间,如表所示1。

计划1以最小距离为目标,选择9号快速充电站,旅行路线是实线,如图所示8。方案2需要的最小时间为目标,选择快速充电站14号和旅游路线是由虚线所示的图8。计划3以最小成本为目标,选择12号快速充电站,和旅游路线交叉线,如图所示8。

多个路径选择进行测试和方法从[10,13)和充电导航方法提出了比较。下的性能比较研究的全面要求车主在图所示9。

第一个图在图9显示的平均距离的变化趋势与测试路线的数量的增加的前提下考虑用户所需的综合性能。在这个图表,比较本文方法和其他方法的两个引用。数增加的航线,平均出行距离的三种方法附近的波动,最后稳定17公里。在这个过程中,总距离预测的三种方法基本上是相同的。第二个图在图9显示的总时间的趋势随着测试路线的数量增加。随着航线的数量增加,本文方法的总时间不断减少,最后时间减少到0.7 h,而其他两种方法,总时间消耗曲线提出了一种振动情况下,消耗的时间是不稳定的和大于本文的方法。从曲线可以得出结论,本文方法最小总时间消费。第三个图在图9显示了总成本的趋势随着测试路线的数量增加。路线的数量的增加,总成本的方法先增加,然后逐渐减少,最后稳定在大约30元。的方法(10),总成本的方法最初是低于方法。测试路线的数量的增加,成本开始增加,最终却明显高于本文的方法。的成本的方法13)仍高于成本的方法在本文最初振荡走低。它可以得出结论,综合性能要求下,三种方法的总距离基本上是相同的。在此基础上,越来越多的路线测试,本文方法具有时间和总成本最小,这表明本文方法的优越性。

在同一时间,起始点和目的地,我们比较,用户满意度在电动汽车充电导航策略(10,13,24- - - - - -26]。的用户满意度测试电动汽车使用这些方法如表所示2。表中可以看出,随着测试线路的增加,用户满意度在该方法远远超过其他方法。它已经表明,本文的方法可以有效地满足用户充电和导航需求。

6。结论

我们提出电动汽车充电服务调度方法基于强化学习来满足电动车主的需求。首先,基于智能交通系统,快速充电站和之间的交互的框架提出了电动汽车。随后,交通部分的动态行程时间模型,提出了电动汽车充电导航模型。最后,结合强化学习,电动汽车充电导航调度方法是进一步提出合理优化每个快速充电站的服务资源。结果表明,与现有的方法相比,本文提出的算法和模型可以有效地优化电动汽车充电和导航调度根据车主的需求,可以满足不同车主的需求。

数据可用性

MATLAB仿真数据用于支持本研究的发现正在禁运而研究成果商业化。请求数据,本文的发表之后的12个月内,将被相应的作者。

的利益冲突

作者宣称没有利益冲突有关这项研究的出版物。