文摘

建立一个精确的和健壮的短期负荷预测(STLF)模型对电力系统安全运行和合理调度是必要和有益的。虽然深长期短期记忆(LSTM)网络已经广泛应用于负荷预测应用,它仍然有一些问题优化,如不稳定的网络性能和优化时间长。本研究提出了一种自适应步长自组织迁移算法(AS-SOMA)改善LSTM的预测性能。首先,开发LSTM预测优化模型,寻求LSTM结构分为两个阶段。一是优化层隐层的数量,和其他优化神经元的数量,时间步,学习速率,时代和批量大小。然后物流混沌映射,提出了一种自适应步长方法克服慢收敛问题和堆积成SOMA的局部最优。比较实验SOMA, PSO、复LSOMA, OSMA测试函数集显示改进算法的优点。最后,AS-SOMA-LSTM网络预测模型用于解决STLF问题来验证该算法的有效性。仿真实验表明,该AS-SOMA展品更高的精度和收敛速度的标准测试函数集和预测能力强与LSTM STLF应用程序。

1。介绍

电力负荷预测有很大影响的电力系统调度工作和生产计划1,2]。准确STLF不仅是电网的稳定和安全运行所必需的,也带来了显著的经济效益电力公司(3,4]。研究表明,预测误差降低1%,每年可节省160万美元的10兆瓦电厂(5]。此外,随着智能电力系统研究的关键,智能负荷预测具有重要意义促进未来智能城市建设(6]。STLF问题是通过分析来预测未来的电力消耗功耗在过去的时期(7]。传统的预测方法分析图表,极大地影响了天气和低程度的准确性。用统计软件和人工智能技术的发展,出现了一些预测精度较高的方法。它主要包括时间序列方法,积分自回归移动平均(ARIMA),等等(8]。该方法的基本思想是使用时间自然历史负荷数据的预测。所以,它有更高的预测精度数据与坚实的时机。但其预测能力有限的数据与许多非线性关系。随着电力系统的发展,数据的数量是如此之大,它的非线性关系变得更加复杂。智能算法主要是机器学习方法所代表的支持向量机(SVM) [9),随机森林(RF) (10)和人工神经网络(ANN) [11]。大多数这些算法需要设置时间手动功能,和数据必须充分考虑时间相关特性。长期数据系列,他们的预测能力是有限的。

深LSTM网络广泛用于STLF问题[12),这是最近的时间序列预测模型。根据其成分,方法使用一个LSTM网络解决STLF问题被归类为混合模型(辆模型)或优化模型(O-model)。LSTM网络用于辆模型学习STLF后提取特征数据的非线性关系。例如,CNN-LSTM [13)模型混合卷积神经网络(CNN)由三个一维卷积池和三层LSTM。模型由CNN没有池层(14],深LSTM, CNN-SEQ2SEQ-ATT [15注意机制模型。辆模型预测被证明是更有效的比LSTM孤单。O-model使用一个优化算法来调整LSTM的网络结构,从而达到更准确的负荷预测。此外,该优化算法主要是由进化计算(EC),其中包括IBA-LSTM [16],IGOA-LSTM [17],EMD-PSO-LSTM [18]。原始的进化优化算法通常是克服陷入局部最优的缺陷在前面的模型。收敛速度和收敛精度也提高了获得更准确的负荷预测效果。如今,深LSTM神经网络还面临着精神上的挑战。例如,网络性能不稳定和参数优化需要很长时间19,20.]。

EC和它的变体已经提出了很多解决上述np难度问题,如遗传算法(GA)、差分进化(DE),粒子群优化(PSO),人工蜂群(ABC)和灰太狼优化(拥有)21]。参数优化依赖员工的经验LSTM洪水预测模型基于降雨径流观测数据(22]。算法提出了优化批量大小,时间步,LSTM隐层神经元的数目。对比实验证明PSO-LSTM模型可以有效地提高洪水预报精度在不同的高级阶段。在预测剪切波速(Vs) [23),提出了一种自适应子群分裂和粒子更新方法PSO-LSTM模型优化算法避免陷入局部优化。然后,批量大小、时间步长和隐层神经元的数目在LSTM利用优化算法迭代优化。与其他算法相比,该方法具有较高的预测精度和鲁棒性。这些方法取得了良好的效果。然而,由于其复杂性,不容易保持平衡收敛速度、收敛精度和鲁棒性(24,25]。

作为一个典型的电子商务,自组织迁移算法(SOMA) [26)提出了Zelinka Lampinen和具有良好的性能在工程应用27]。SOMA的优势比其他人容易并行化和更少的调优参数。它已广泛应用于动态约束优化(28),路径规划(29日),图像处理27),和其他领域。目前,SOMA的提高取得了良好的效果,这提供了一个很好的理论基础在工程领域中的应用。SOMGA [30.)是一种结合遗传算法和躯体。的初始阶段SOMGA使用比赛互相竞争,创造新的个体通过单点交叉和变异。该算法比遗传算法具有更强的鲁棒性,SOMA在25个测试函数。mNM-SOMA [31日]使用纳米交叉算子来找到最佳的领袖,并与躯体相比,遗传算法,算法,mNM-SOMA是最优越的性能。CCMA-ES-SOMA [28)模型使用CCMA-ES算法来检测快速优化问题的可行域。SOMA在解决np难问题具有明显的优势。然而,需要有文献使用神经网络的结构优化。因此,SOMA改进方案提出了解决LSTM结构优化问题。

2。材料和方法

2.1。LSTM和参数优化
2.1.1。LSTM内存单元

LSTM解决了梯度爆炸和RNN的色散问题。后续节点成为感知较弱的前面的节点,他们似乎忘记先前的信息随着时间的推移,当网络层的数量增加。简而言之,LSTM可以执行比正常RNN更好的在长序列。图1显示了LSTM内存单元的操作。与RNN相比,LSTM添加一个内存单元专为保存历史信息。盖茨的控制输入,忘记,和输出更新网络中的历史信息。


图1
原理图LSTM记忆细胞。

LSTM的正向传播过程可以表示为公式(1)- (5), 权重矩阵,是吗 偏差对应权重, 是乙状结肠函数, 矩阵点积运算。的输入和输出向量的内隐层LSTM 和 在一个时间步的t。的内存单元 输入门是用来控制有多少网络当前的输入数据 流入的记忆细胞,换句话说,可以保存到多少 ,和的值表示如下:

忘记门LSTM单元是一个关键组成部分,控制信息保留和忘记。它使用在某种程度上避免了梯度消失和爆炸问题时触发梯度向后传播。忘记门决定了历史信息将被丢弃。存储单元中的信息 之前的时刻影响当前的存储单元 。

门的输出控制存储单元的影响 在当前的输出值 ,和存储单元的一部分将打印的时间步t。

因为它的性能优良,LSTM用于大量的序列学习任务,如机器人控制(32),语音识别(33),时间序列预测34,35),和市场预测(36,37]。

2.1.2。深LSTM

古典LSTM模型由一个输入层、隐藏层和输出层。深LSTM可以叠加形成的多个(≥2)隐藏层。

每一层解决了一部分任务把它下一层之前,直到最后一层提供了输出。坟墓等人通过叠加构成深LSTM LSTM隐藏层(38];它应用于语音识别问题,在基准测试中具有明显的优势。深LSTM架构是定义为一个模型,该模型由多个LSTM层组成。上层LSTM隐层提供顺序输出较低的层而不是输出单个值。这表明,在构建模型时,网络的深度比LSTM细胞的数量更重要在给定层。time-expanded深LSTM复发性神经网络的结构如图2。


图2
深LSTM复发性神经网络的结构。
2.1.3。深LSTM参数的优化

LSTM复发性神经网络时间序列处理,是一种稳定的技术和LSTM隐藏层的数量变化的抽象价值输入的观察。这种方法增加了培训时间和内存成本成倍增长。同时,层间梯度的消失将会导致网络性能的削弱,和这一现象变得更重要,有很多层。将导致缓慢更新迭代的隐藏层接近输入层和收敛效果和效率会急剧下降,甚至会更容易进入局部最小值。如图3,LSTM的输入是一个三维向量组成的批量大小,时间步,和特性,如下所述。


图3
原理图输入的三维向量LSTM。

当前主流款是梯度下降训练方法,训练使用预测模型的输入。然后,预测值与实际值的估计错误,使用指定的损失函数来更新模型权重,和重复的过程。每个时间步的特性数据输入到模型每一次,它的大小决定了模型的总体规模的单一输入功能。此外,它还会影响模型的预测结果的映射。

网络模型权重更新基于训练数据的一个子集,在批量设置。批处理大小是使用的样本数量估计的误差梯度训练数据集,一个样本的特征值的集合在上述时间步骤之一。统计估计,更多的培训数据误差梯度和更多的估计计算;越有可能更好地调整网络的权值,模型的性能越好。因此,如果该模型用于预测,误差梯度估计的成本不断提高。批量大小是一个重要的hyperparameter影响学习算法的动力学。

学习速率是hyperparameter所使用的网络模型。它控制体重的更新模型根据估计误差和速度模型的适应问题。利率较低的学习需要更多的训练周期足够的训练,而更重要的学习利率导致网络模型权值快速变化和需要更少的训练周期。然而,如果学习速率过高,该模型可能迅速收敛到理想的解决方案,而如果学习速率太低,这个过程可能会停滞不前。

时代定义了学习算法的次数是在整个训练数据集训练。迭代中,由一个或多个批次,意味着每个样本在训练数据集已经完成的一个预测模型。迭代的数量直接影响的数量特征学习的模型。过多或过少会导致过度拟合和underfitting训练模型。

2.2。AS-SOMA模型
2.2.1。SOMA

SOMA如下的三个主要阶段:初始化、迁移周期和迁移。在第一阶段中,每个粒子的初始种群根据特定的问题找到相应的健身价值,并确定最佳的领袖。SOMA的关键是第二阶段的迁移周期组成多个累积迁移更新。粒子多次让小跳领导者采取具体的步骤大小和随机扰动的初始化的指导 。这个约束变量控制粒子的运动维度,和定义的表达式如下: 在哪里 是一个随机值在[0,1],然后呢 是由设定的系数 。粒子迁移的模式可以表示如下 在哪里 和 ,分别代表了粒子迁移,迁移循环的第一个的领导者毫升生成和 是新职位获得的粒子迁移。 表示为区间的长度吗 如下:

周期将会停止当粒子的迁移达到累积最大 。同时,所选的领导人将导致粒子进行下一轮的迁移和迁移的结束时,算法停止条件满足。

2.2.2。SOMA的缺陷

SOMA有重大缺陷的初始化和迁移周期阶段由于其设计原则。例如,初始化方案和更新模式下使用理想化的随机性和固定步骤,问题收敛速度慢和容易陷入局部最优的优化。下面是详细的介绍。

遵守法律的生物人口,SOMA采用随机方案在初始化阶段。然而,这种随机初始化方案可能导致的问题,比如粒子只有在当地最佳的地区,人口密度太大,个体间距优化过程中需要更加突出。然后,收敛速度慢、局部最优和提前收敛性将发生在优化过程。

在移植周期的阶段,由于迁移步骤的固定值,粒子不能完全有效地迁移。大或小步骤影响算法的执行效率和收敛能力不同程度。SOMA的选择方法对于每个迁移的领袖是最大的健身,可以有效地引导人口向更好的方向迁移。但它需要包括指导的多样性,甚至可能导致不正确的指导在算法的初始化阶段执行当领袖的局部最优。

2.2.3。AS-SOMA

物流混沌映射和自适应步长方法用于优化SOMA在初始化阶段和迁移周期阶段,分别。粒子可以均匀分布在整个搜索空间的初始化阶段,促进之间的平衡发展和探索更新的过程。物流是最简单的一个混乱的地图,地图,它被描述为公式(9), 代表了我th混乱的数量, ,和 是一个可调参数。

在AS-SOMA的初始化阶段,多个混沌序列号码生成通过改变初始化逻辑混乱的地图的价值 。获得的混沌数字乘以不同维度的搜索空间,把它作为一个系数得到颗粒均匀分布在整个搜索空间。具体计算如下: 在哪里 和 在j-dimension上界和下界的粒子,分别。假设 和 ,在图4时,没有盲区 , ,和 。因此,的价值 是4在本文档中, 是均匀分布的区间 ,和粒子在搜索空间中均匀分布 。


图4
变化的逻辑映射 。

自适应步方法用于优化固定值AS-SOMA迁移循环的最初的一步。成功迁移的方法存储步长信息粒子通过创建存档成功的信息 ,这是要积累形成正态分布的均值。下一个粒子的迁移是引导通过生成随机步的正态分布,描述如下:

的 为更好的结果(0.21初始化39)和更新每个迁移周期结束时,和更新公式如下: 在哪里 是一个常数在0和1之间, 代表成功的步长档案迁移的粒子。

2.3。AS-SOMA-LSTM优化模型
2.3.1。LSTM培训

的培训模型深度LSTM如图5。优化的参数包括隐藏层,神经元的数量,时间步,学习速率,时代和批量大小。使网络权值收敛更稳定在模型的训练过程中,本文运用指数下降的hyperparameter学习速率,减少指数为LSTM训练后代数量的增加。因此,优化过程只搜索它的初始值。


图5
LSTM训练模型图。
2.3.2。基于AS-SOMA-LSTM STLF问题优化模型

如图6,AS-SOMA基于上述LSTM训练模型编码粒子 在哪里 是我th粒子, 和 神经元的数量在第一和第二个隐藏层,分别。 是时间步模型的输入, 最初的学习速率的大小,训练迭代的时代,和批量大小的模型训练,分别。上述粒子被解码参数LSTM网络模型进行训练和预测,和最优参数是根据AS-SOMA通过连续的迭代。


图6
STLF AS-SOMA-LSTM优化模型的示意图。

基于AS-SOMA-LSTM STLF问题处理过程优化模型如图7。首先,AS-SOMA人口来生成初始化 个人,生成相应的向量集 通过设置系数 。随后,LSTM中配置的尺寸参数建立相应的预测模型,这是来自人群中个体解码。模型的训练和测试计算均方根误差(RMSE),这是回到AS-SOMA作为适应度函数值。AS-SOMA排序的适应度函数值获得人口和选择领袖的最小值来指导未来的人口迁移。人口迁移的计算过程是重复,重复的数量由AS-SOMA设置的最大迭代数。最后一代领袖的价值是最优的hyperparameter模型。


图7
STLF问题AS-SOMA-LSTM优化模型的流程图。

3所示。AS-SOMA的性能

3.1。实验参数

使用MATLAB进行比较实验15 CEC2015的测试函数40摘要]。根据CEC2015基本特征,可以分为以下四类:F1和F2是单峰函数,F3, F4,和F5 multipeak基本功能,F6, F7,和F8是三个混合功能,F9-F15七合成功能。实验比较AS-SOMA主流群体智能算法的算法及其改进算法结合复和每个算法的参数设置表1。

表1
参数设置的比较算法。
3.2。算法评估

AS-SOMA为了提高收敛精度,实验评估的平均值和标准偏差的最佳运行结果的功能,它被描述为 。然后,本文在多个运行结果与其他算法相比,和数学表达式描述如下: 在哪里 算法的全局最优值函数和 函数运行的次数。Wilcoxon rank-sum测试是对获得的实验数据来验证执行性能各个算法之间的重要性。如果 值小于0.05 ( ),这表明当前算法的操作结果明显不同于AS-SOMA。相比,收敛速度是通过观察健身价值的基准函数的收敛速度。

3.3。AS-SOMA性能的实验分析

在实验中,PSO的人口规模,结合复,SOMA, LSOMA, OSOMA,和AS-SOMA是100,和CEC2015基准函数的最大评价时间是300000,其中每个函数的单个测试的时候是25和它的维度 。

3.3.1。解决精度

表2显示了每个算法的实验结果CEC2015基准函数集。“+”,“=”和“−”表明,相应的算法的精度更好,相似,比AS-SOMA。大胆的展示表明最好的结果的均值和最好的方差。

表2
精度比较结果CEC2015十五基准函数的解决方案。

AS-SOMA达到最佳的实验结果在两个单峰函数,与五个比较算法如表所示2。Wilcoxon rank-sum的试验结果表明,AS-SOMA的性能明显优于其它算法函数进行了比较F2。测试结果的功能F1与SOMA AS-SOMA也有类似的收敛性能,并显著比4的5个比较算法。与基本多峰函数相比,AS-SOMA实现两个最好的结果在三个功能。Wilcoxon rank-sum测试结果表明,AS-SOMA明显优于PSO,复形,SOMA, LSOMA, OSOMA测试函数(F4,F5),(F4,F5),(F3),(F3,F4和F5)和(F3,F5)。在混合功能,很明显,AS-SOMA在函数的实验结果F6比其他算法。很明显,AS-SOMA在函数的实验结果F6比复形,SOMA LSOMA, OSOMA。复形,它明显优于PSO SOMA, LSOMA函数F8。在功能上F7,AS-SOMA有竞争力而基本SOMA获得最佳结果。的测试结果F9,F11,F12,F13,F14功能复合,AS-SOMA显然优于对比算法。

总之,AS-SOMA可以有效解决合成功能。优秀的结果主要归因于步长自适应机制和人口的初始化机制基于物流混沌映射。两种机制之间的相互作用可以提高算法的求解精度。

3.3.2。的收敛速度

进一步验证算法的优化效果在搜索过程中,人物8显示了平均收敛的结果比较算法在15个基准函数基于CEC2015数据集的25倍。纵坐标是自然对数的平均值独立年底每个算法的运行结果。水平坐标代表采样点,它的价值是 和 。


图8
比较结果的收敛率的解决方案15参考函数(F 1- - - - - -F 15CEC2015) (D= 30)。(一)F 1。(b)F 2。(c)F 3。(d)F 4。(e)F 5。(f)F 6。(g)F 7。(h)F 8。(我)F 9。(j)F 10。(k)F 11。(左)F 12。(m)F 13。(n)F 14。(o)F 15。

从实验结果可以看到在图8,AS-SOMA达到最佳性能F1,F2,F5,F6,F8,F10,F11,F13,F14而在竞争F4,F7,F9,F12,F15。此外,复有最好的收敛速度F3,OSOMA最好的收敛速度F4,SOMA最好的收敛速度F7。然而,算法的收敛速度和LSOMA不是最优基准函数。

实验结果数据8(e)和8(k)表明,AS-SOMA具有良好的收敛速度与其他算法比较。除了实验数据表2,可以看出AS-SOMA具有良好的性能F5和F11无论是解决精度和收敛速度。可以得出结论,AS-SOMA具有良好的收敛性在解决基本的多模函数和合成功能。

3.3.3。搜索行为分析

为了解释AS-SOMA的收敛性能,分析了搜索行为的AS-SOMA AS-SOMA人口演变的分析功能F4。 函数有一个全局最小值点,从另一个局部最优,这是一个典型的作弊问题。所以,很难摆脱局部最优。图9显示了搜索过程由AS-SOMAF4当人口规模是100,进化代数G是1,3,5,分别和10。很明显, 函数有一个非常复杂的模型结构。三代的进化搜索的结果执行的算法如图9 (b)当人口拥有100人口规模的统一,在解空间中随机初始化。它可以观察到,人口迁移对全球最佳,同时保持多样性。

(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
图9
AS-SOMA搜索过程 函数。(一)(G= 1)。(b) (G= 3)。(c) (G= 5)。(d) (G= 10)。

图10显示了AS-SOMA个体的迁移步骤改变图的搜索过程 功能,横坐标代表了进化时间。很容易看到,一步增加评估的数量减少。人口研究的早期阶段算法的搜索空间搜索暂时,不太成功的一步档案中的信息让更少的人口可学的信息,更大的步骤确保算法的搜索速度。经过一段时间的搜索、归档成功信息逐渐增加。一步开始稳步减少通过使用自适应调节机制。它减少了粒子陷入局部最优的概率。


图10
变化图AS-SOMA搜索过程的步骤 函数。

4所示。结构优化的LSTM AS-SOMA

4.1。STLF数据

本文选择从UCI机器学习在几分钟内的数据仓库。它收集测量各个部分的电力消耗一个家庭从2006年12月到2010年11月。观测值包括总有功功率(TAP)(千瓦),总无功功率(TRP)(千瓦),平均电压(AV) (V),平均电流(交流)(A),厨房的权力(KP)(千瓦时),洗衣机功率(买理财产品买)(千瓦时)和空调系统(ASP)(千瓦时)。本文使用更换零异常值和数据积累原始数据预处理总有功功率。如表所示3从数小时到数天,统计单位展开。

表3
在天STLF数据。

目标问题是日常电力负荷的预测在接下来的星期。此外,本文对水龙头的预测,这是这个设备的功耗之和(44- - - - - -46]。3:1分区数据集规模提出了研究在图11(一),前三年和第四年的数据模型的训练和测试完成。图11(b)显示了最大的统计指标,至少,意思是,中位数,范围、标准偏差、偏态和峰态的水龙头进行描述性统计分析。

(一)
(一)
(b)
(b)
图11
总有功功率数据。
4.2。模型评价

均方误差(MSE)、根均方误差(RMSE),平均绝对误差(MAE)和平均绝对百分比误差(日军)指标用来评估模型的预测性能。MSE、RMSE美,日军定义如下: 在哪里 预测的价值, 是真正的价值,和RMSE值范围是什么 。

4.3。预测实验结果和分析

为了减少操作误差,每个算法是独立运行记录最大的十倍,中位数、最小值,意思是,和每一个算法的执行结果的标准偏差。Wilcoxon rank-sum测试是用来比较算法的性能。

4.3.1。隐层优化

结构优化的LSTM分为两个阶段。隐层数只有一个小的搜索空间和整数,这是结构优化的第一阶段。优化每个隐层节点的数目是结构优化的前提。其他hyperparameters组包括隐层神经元,学习速度,训练代数、批量大小、时间步骤,和值200,0.001,500年,16岁和14岁。在十四天内的数据被用来预测未来7天的数据,和亚当优化器(47重量)是用来完成更新。本文比较了预测结果模型最优隐层节点的数量。

STLF,表的数据预测4显示了预测LSTM不同层的性能。可以看出,与隐层位的网络具有更好的性能,有一个与第一层和4层相比差异显著。因此,用更少的隐藏层模型将导致模型的表达能力不足的问题。相反,梯度层间的消失将导致削弱了网络性能,当有太多的隐藏层。预测模型优化过程中提到下面,隐藏层的数量LSTM两个决定。

表4
实验结果RMSE隐藏层的数量比较。
4.3.2。其他参数的优化

第二阶段是优化其他参数,包括隐层神经元的数量,时间步,学习速率,时代和批量大小。为了使模型收敛更稳定在培训过程中,本文采用指数下降hyperparameter学习速率的方法。

表5显示了搜索空间的大小对应参数当AS-SOMA用于优化网络模型。GA参数比较算法的变异概率是0.001。别人的参数设置与表相一致1。作为控制算法实验,AS-SOMA_1实现初始化阶段的改进而不是迁移阶段。所有算法的人口规模是10,和算法执行终止条件是500倍的适应度函数评价。

表5
搜索空间。

AS-SOMA-LSTM最后优化模型、网络结构与最好的效果是,第一层包含47个隐藏节点,第二层包含86个隐藏节点,时间是11步,批处理大小是24日,学习速率为0.03414,时代是338。对比AS-SOMA-LSTM模型预测结果和原始数据如图12。


图12
比较AS-SOMA-LSTM预测结果与原始数据。

表6显示每个指标上AS-SOMA达到最好的结果和最先进的方法优于0.44%,0.37%,0.117%,和0.005%的MSE,是RMSE,意思是美,是日军。

表6
平均评价结果的不同模型评价项目。

表7显示了不同的算法的实验结果统计在STLF基于LSTM RMSE优化模型。可以看出,在最大AS-SOMA取得最好的结果,中位数,平均8算法之一。AS-SOMA优势超过AS-SOMA_1平均值和标准方面的差异。Wilcoxon rank-sum测试表明没有显著差异两种算法之间的性能比较与其他五位算法。这一现象说明,这两个SOMA改善计划同样有助于最终的性能,和这两个计划共同提高AS-SOMA的性能。

表7
LSTM优化模型与不同的算法运行STLF问题独立RMSE 10倍。

AS-SOMA排名第四的七个最低指数算法。原因之一是算法的随机性,在每个算法都有一定的概率获得问题的最优值。其次,AS-SOMA SOMA的基础上,提出了一种自适应步机制,提高了算法的收敛能力和稳定性。与此同时,它还可以减少算法的探索能力。OSOMA排名第一的最低指数是基于反向学习机制来提高SOMA。反向学习的想法是促进粒子迁移相反的方向最好的粒子有一定概率的。这种机制大大提高算法的探索能力。但统计数据显示,多个实验的结果不一致。根据组合的平均值和标准偏差表5,AS-SOMA LSTM在解决STLF问题具有明显的优势。

图13是8算法的平均收敛曲线LSTM STLF问题。

(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
图13
平均收敛曲线LSTM STLF问题8算法。(一)收敛代数曲线从0到500。(b)的收敛曲线修剪y轴。(c)收敛代数曲线从0到200。(d)收敛代数曲线从200年到500年。

图(13日)显示了遗传算法在初始阶段的表现不佳的搜索。初始适应度函数值的原因是遗传算法在搜索达到1893.852,这是粒子得到一组随机初始化的情况糟糕的解决方案。模型并不像它应该训练当粒子LSTM解码。它使网络的预测性能差。

图13 (b)通过削减最初的收敛曲线。可以看出AS-SOMA在整个搜索过程具有一定的优势。OSOMA基于反向学习最糟糕的表现在八个算法,结果表明,该方案基于反向学习不适合LSTM结构优化。

图13 (c)显示了八个算法搜索的早期阶段。可以看出复形,A-MsPSO AS-SOMA基于混沌映射逻辑初始化在早期阶段的搜索更快的收敛。在初始化阶段,整个人口均匀分布在整个搜索空间,保证了勘探能力和多样性的人口在早期阶段。

图13 (d)显示了八个算法搜索后期的情况。可以看出AS-SOMA具有快速收敛能力的后期搜索。改进方案的原因是基于自适应步长可以有效解决贫穷问题的收敛性,这是由于固定步长。此外,动态调整步长平衡算法的开发和利用。

早期的搜索,SOMA PSO略有提前,SOMA逐渐加速收敛的算法后期的搜索。原因是算法中每个粒子的运动遵循最优个体的人口。本指南将粒子接近 在每一个维度通过减去向量。类似地,每个粒子的运动是受人口SOMA的领袖的影响。然而,并不是所有的尺寸粒子迁移四面八方,和 干涉迁移的过程。因此,LSTM结构优化的过程中,全面的搜索算法可以使早期的迁移人口快速方法更好的网络参数。然而,多维运动,容易让人口时跳过最优参数最优解附近的人口集中在搜索后期。SOMA可以固定某些维度和迁移。它将逐渐接近最优解通过控制方向。

AS-SOMA的收敛过程中验证LSTM hyperparameter变化如图14。在早期的搜索,LSTM时间步预测模型提出了一定的波动,时代和批量大小。hyperparameters迅速稳定后第100优化和逐步趋于最优。图14 (b)表明,学习速率呈现一定的稳态AS-SOMA收敛的过程。

(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
图14
的变化LSTM hyperparameters AS-SOMA收敛。(一)时间步的变化过程。(b)学习速率的变化过程。(c)时代的变化过程。(d)批大小的变化过程。

图15显示时间步之间的关联度,学习速率,时代,和批量大小,绝对的值是0.37,0.026,0.066,和0.029,分别。最高时间步和批处理之间的相关性大小,一个值为0.37。因此,有必要分析hyperparameter约束条件组合优化的过程中为了更好地训练网络。


图15
之间的相关性LSTM hyperparameters AS-SOMA收敛过程。

本文构造了AS-SOMA-LSTM解决STLF问题的优化模型。最初的SOMA由物流改进的混沌和自适应步长方法,及其解决方案验证精度和收敛速度。LSTM优化模型,提出了基于AS-SOMA STLF应用于实际问题。首先,确定最优数量的隐藏层的详尽的方法。然后,剩下的五个hyperparameters优化利用AS-SOMA,包括神经元的数量、时间步长、学习速率,时代和批量大小。仿真实验表明,该AS-SOMA-LSTM模型明显优于其他方法。

数据可用性

数据集用于支持本研究的发现可以访问。

不适用。

的利益冲突

作者宣称没有利益冲突。

作者的贡献

昌旺,子健曹,Xiaofeng荣概念化的研究;现任荣和子健曹开发方法论;昌旺和周Hanghang调查研究;Hanghang周、昌旺和Linjuan球迷写了初稿的手稿;曹Xiaofeng荣和子健审查和编辑文章和波兰整个研究工作;作者获得的基金。所有作者已阅读及同意发布版本的手稿。

确认

这项研究部分由陕西省自然科学基础研究项目(2020 jm - 565)和科技计划项目Industry-University-Research协同创新计划的维扬区,陕西西安城市(K20200167)。