文摘

预测边坡变形预测是至关重要的边坡破坏的早期预警,防止损坏属性和拯救人类生命。然而,在实践中,设备维护导致不连续位移数据,传统的预测模型基于深层网络在这种情况下表现不佳。解决问题的预测精度在不连续和数据不足的情况下,我们提出一个结合位移预测模型相结合的双向封闭的复发性单元(Bi-GRU),注意机制,转移学习。Bi-GRU是用来提取向前和向后位移系列的特点,和注意力机制是利用提取的信息给予不同的权重,突出关键信息。转移学习是用来保证预测精度的不连续和有限的数据。模型被用来预测边坡位移的金隅水泥工厂在中国。最后,建模结果极好地同意测量位移,尤其是在样本数据不足的情况下。

1。介绍

有巨大的人员伤亡和经济损失最近由于山体滑坡。2019年7月23日,山体滑坡发生在水城,中国有超过1600人受灾,并造成1.9亿元的经济损失。2020年7月16日,三个在Dunhao山体滑坡,中国,造成两人死亡和四个失踪者。由于滑坡灾害造成相当大的损失,有必要建立可靠的预警模型(1]。根据Web GIS技术,山体滑坡风险区域估计通过使用各种地理空间数据(2]。滑坡通常被认为是由他们的生理特征和触发因素。物理特性主要包括地层岩性、孔隙流体压力,压力和引力。触发因素更加多样化。降雨、地震、人类活动、植被、水位波动和侵蚀过程可能导致边坡破坏(3]。边坡位移的变化可以反映滑坡的稳定性,被认为是一个关键指标评价滑坡的稳定性和状态(4]。边坡位移的监控系列反映了斜率的非线性动态演化与内部和外部环境的双重影响。

通过分析边坡位移的监控系列,各种位移预测模型构建基于智能算法,如灰色模型的支持向量回归模型,小波神经网络和粒子群优化(PSO)。结合实际边坡工程,边坡变形的机理和规律把握为滑坡防治提供指导。

Kuradusenge et al。5)提出了随机森林(RF)和逻辑回归(LR)模型来预测rainfall-induced山体滑坡在卢旺达。他们用降水数据集和各种内部和外部参数对滑坡预测,从而提高其准确性。在另一个工作,严et al。6)采用Holt-Winters阻尼模型来预测深层水平位移的倾斜的土壤。他等。7)提出了一个machine-learning-aided空间变量的随机可靠性分析斜坡,它显著减少计算工作和提供一个完整的安全系数的统计描述与合理的准确性。王等人。8]也开发了一种直接区间预测方法基于最小二乘支持向量机(二)和微分搜索算法来预测三峡库区的滑坡位移。在另一个工作,马等。9]提出措施基于互信息(MI)输入变量选择(IVS)和优化支持向量回归(SVR)预测seepage-driven滑坡的位移。他们的实验结果表明,MI-based措施能有效地识别相关或关键变量,和优化SVR方法基于variable-reduced输入可以显著提高预测性能。

此外,王et al。10)相比的性能几种流行的机器学习方法在预测水库滑坡的位移。射线等。11)还开发了一个人工神经网络(ANN)评估Shiwalik山的安全系数在喜马拉雅地区。Shihabudheen et al。12)开发了一个极端的学习、自适应神经模糊推理系统(ELANFIS)使用经验模式分解(EMD)技术预测滑坡位移的步伐。

然而,上述方法的预测精度取决于他们hyper-parameters,通常每个时间序列而有所不同。此外,misspecification减少预测精度通过生成overfitted或underfitted模型(13]。表1列出了一些模型预测边坡变形的特征。

由于框架基于深度学习表现良好的发现和提取数据的内部结构,研究人员正在启发采用深层结构偏好预测任务。Ref。14)提出了一个算法基于深度递归神经网络(RNN)称为DeepVM预测车辆移动在未来时间内几个或几十分钟。Ref。15]也开发了一种深层神经网络途径叫LSTM网络挖掘现场振动数据来预测剩余的旋转机械的使用寿命。在另一个工作(16],deep-learning-based方法开发的概率密度函数(PDF)小时后,风的卷积神经网络(CNN)和封闭的复发性单元(格勒乌)同时用来捕捉时空特性。复合GRU-Prophet模型也构造预测销售量(17]。

此外,裁判。18]利用双向长短期记忆(Bi-LSTM)和双向格勒乌(Bi-GRU)来预测网络流量矩阵,和结果表明,双向模型提供调查数据系列的能力在两个相反的方向,允许收购过去和未来状态的全部知识为了更好的预测结果。社会力模型(SFM)被纳入一个原始LSTM网络预测轨迹,考虑的社会力LSTM网络和混合损失函数在人工智能(AI)的海上物联网(物联网)系统实现鲁棒预测(19]。Ref。20.)提出了一个Bi-GRU-based框架来预测评级为客户审查,和实验结果表明,开发框架可以显著提高评级预测的平衡和不平衡的数据集。格勒乌,LSTM RNN、Bi-GRU Bi-LSTM也开发了预测太阳辐照度,和实验结果表明,该Bi-GRU模型比其他人表现的更好的训练时间,可训练的参数,和时代比率21]。它可以表明,在给定的时间,双向模型更可靠的由于他们的学习能力更抽象的特征时间序列数据集。

本文的其余部分组织如下。部分2在边坡位移预测回顾了相关文献,部分3建议的体系结构进行了位移预测模型,其执行过程。部分4报告实验结果金玉水泥厂的一个案例研究,概述研究的网站,预测结果和绩效评估模型。部分5总结了模型的结果和局限性。

2。相关的工作

相关文献从不同的角度解决边坡位移预测(22- - - - - -26]。在这里,我们审查的最新进展在位移预测方法基于深度学习。

Ref。27)提出了一个基于LSTM神经网络动态模型预测滑坡位移。累积位移分解成趋势和周期项,一个三次多项式函数来估计位移趋势,和一个LSTM模型被用来预测周期性位移。模型验证的性能与两步进式的观察在三峡库区滑坡,Baishuihe Bazimen山体滑坡。另一个工作引入了两个新的概念,即趋势序列和敏感性,定量地描述滑坡位移的响应外部因素和滑坡的内部状态,分别为(28]。然后,PSO算法和SVR方法被用来获取序列的趋势,和LSTM神经网络来预测敏感性。以Baishuihe位于三峡库区的滑坡为例,该模型显示令人满意的性能。另一项研究[29日)研究了一个耦合预测模型基于双移动平均线(DMA)法和LSTM网络提高滑坡位移点预测的准确性和量化与预计值相关的不确定性。

此外,三种预测模型,即LSTM格勒乌,射频,用来估计周期和累计三个步进式滑坡的位移在三峡大坝库区30.]。Zhang et al。31日]也开发了一种新的动态模型来预测状滑坡的位移。为此,变分模态分解(VMD)是用来累积位移分解成随机、周期和趋势组件。一个多项式表达式优化的顺序安装位移的趋势,和双向长期短期记忆模型动态建模周期和随机位移。实验证明,该模型更好的预测滑坡位移的步伐。在另一个工作(32),一种新的预测模型基于图卷积网络推导估计边坡变形;模型考虑了空间所有点之间的相关性在整个位移监测系统。此外,complete-ensemble经验模式分解与自适应噪声(CEEMDAN)算法来划分总位移趋势,定期,残余项(33]。然后,一种新的模型建立了基于LSTM预测滑坡的位移。

然而,在真实的场景中,边坡位移的训练数据集是不够,有些限制了上述方法的应用。此外,监控设备可以被摧毁在复杂的外部环境,和监测中断导致模型训练数据丢失。学习转移(TL)方法解决上述问题,在这种情况下,因为从源任务提供足够的训练数据获得的知识可以应用到目标任务没有足够的训练数据。因此,本文结合了Bi-GRU网络,注意机制,和学习转移到构建一个模型的边坡位移预测滑坡在河北金玉天顶水泥有限公司,有限公司,中国。同时,一些普通网络如SVR, LSTM,格勒乌,Bi-LSTM Bi-GRU, Bi-GRU注意力机制和转移网络提出了工作比较的调用。

3所示。边坡位移预测模型的建立

边坡位移预测可以被看作是一个时间序列的预测问题,和Bi-GRU可以深深捕获之间的关系向前和向后的位移数据的特征。学习过程提供了一个处理数据的机会有强烈的表示特性更好的预测未来的一步。注意机制只能注意到相关的信息,特别是,信息的重要性是由他们的概率分布,消除不必要的信息。

过程中边坡变形、位移监测数据的分布变化值得注意的是随着时间的推移,和监测设备的维护导致数据不连续,导致历史和新收集的数据之间的不连续位移。不连续的训练数据导致网络预测性能的恶化,因此介绍了转移学习策略来解决这个问题。模型训练与历史数据作为源域模型,和学到的知识和技能从源域模型应用于新数据(目标任务)长期协助预测新数据。通过这种方式,获取知识不再是从头开始,这在一定程度上可以提高预测精度。

图1显示了本文采用的技术方法准确预测边坡位移。首先,收集到的位移数据分为源和目标数据。之后,一个位移预测模型基于Bi-GRU和注意力机制(表示Bi-GRU-ATT)构造,使用源数据和模型进行培训。然后,少量的目标数据用于调整预测模型,以获得目标模型。之后,模型的预测性能评估使用的测试数据集。最后,模型的预测结果是不估计滑坡的位移。

图2说明了模型结构图,包括输入层、Bi-GRU层,注意层,完全连接层和输出层。

3.1。双向封闭的复发性单元

重点是递归神经网络的时间序列问题,因为它的优势序列依赖。然而,由于梯度爆炸和消失,有长度限制应用RNN时算法(34]。随后,RNN的变体,比如LSTM格勒乌神经网络,提出了处理长序列预测问题。LSTM格勒乌保留的一些性质,简化了结构,可实现信息忘记和记住相同的大门,从而导致更少的参数和更快的收敛35]。图3描述了封闭的周期性的结构单元。

格勒乌模型包含两个大门,重置和更新登机口。更新门控制之前的信息,将当前层,而重置门决定忘记的信息量。见图3格勒乌传送输入状态在当前时刻和隐层输出状态重置门之前的一刻,这决定了有多少内存信息保存。它可以作为制定 在哪里重置门的输出,是物流乙状结肠函数,和分别输入和前面的隐藏状态。和是学习权重矩阵。是偏见。

同样,更新门的输出计算

新的内存状态可以计算

最后的隐藏状态可以计算 在哪里代表了阿达玛的产品。门控信号范围从0到1。门信号越接近1,更多的数据将被记住,而接近0,遗忘。

单向格勒乌模型使用先前的信息来预测后续信息,而双向格勒乌可以全面了解time-correlated信息前后在两个方向同时提高预测精度(36]。Bi-GRU扩展了单向格勒乌通过引入第二个层,如图4。

水平方向上计算远期格勒乌隐藏的向量( )和落后的格勒乌隐藏向量( )在每个时间步( )同时进行。竖直方向代表一个单向流动从输入层到隐层和输出层。连接两个隐藏状态可以计算的最终预测Bi-GRU,如下所述: 在哪里代表格勒乌函数, 是向前格勒乌和向后的权重格勒乌,分别和是偏见的输出层。

预测边坡的位移可以被认为是相关时间序列回归问题。双向结构提供了观察能力置换序列在两个相反的方向,它允许收购过去和未来状态的全部知识为了更好的预测结果。

3.2。注意机制

一般来说,格勒乌模型可以有效地避免梯度消失的现象,然而,当时间序列太长,模型可能会经历梯度消失的现象。因此,关注机制引入历史信息来减少损失,加强重要信息的影响,这是一个最具影响力的思想领域的深入学习。注意机制Bi-GRU隐层分配不同的权重,突出了关键信息,从而优化输出值,提高了预测精度。图5描绘了一个注意力机制的示意图。

注意机制可以是一个加权求和(37]。它开始通过计算输入信息的重要性;然后,将softmax函数是用来确保权重的总和等于1.0。权重,乘以相应的输入信息,并最终总结获得的输出。有关方程如下: 在哪里的总时间步骤输入序列,是每个州的重量计算在每个时间步长,是权重矩阵,是重量抵消,Bi-GRU的隐藏状态。

3.3。转移学习

转移学习是解决问题的主要方法不足可用标签数据的机器学习(38]。这种方法放松假设训练和测试数据集恒等分布以实现知识转移从源域到目标域。建立训练后网络基于Bi-GRU和注意力机制,本工作使用源数据集训练训练网络,得到源模型。然后,目标数据集是用来调整源模型的连接层,以获得目标模型预测较小的数据集。图6显示了特定的流程。

深度学习预测模型对小数据集,容易过度拟合和预测精度不高(21,39]。另一方面,获得完美的数据集是昂贵和费时的。此外,收集的数据对边坡位移通常不足,和数据反映了边坡倾斜滑有限,影响早期预警的准确性。转移学习是至关重要的解决训练数据不足的根本问题。因此,关于有效样本数据在一个长时间的边坡变形,我们引入一个转移学习算法解决有限样本数据下的边坡位移预测。

4所示。案例研究

4.1。项目描述

案例研究区域的斜率是金玉水泥厂在禄劝区,石家庄,中国。金隅水泥工厂建立了一个高度集成的全球导航卫星系统(GNSS)在线监测系统,实现全面的网络监控的斜率效率高、灵敏度、快速反应,和可靠的操作,提高边坡监测和应急响应级别。图7显示的位置和实际视图边坡研究,和图8描述了监视点的布局和安装GNSS监测设备。

九个监视点排列在这个斜坡,如图8。表2提出了一些监测采集的数据点G112 2019年,X, Y,和Z代表位移在北方,东方,分别和垂直方向的坐标系统。一个负值表示相反的方向。

4.2。数据预处理

实验选择798 G112位移监测得到的数据点作为实验对象从2019年到2021年,648年,第一个数据从2019年6月到2021年1月作为源数据。由于设备检修,150组数据从2021年3月至2021年7月受聘为目标数据。目标模型训练,第一个110年的数据从目标选择数据集作为训练数据集,微调后的培训模式,过去40数据选择的测试。

提高训练速度和预测精度,我们正常收集到的样本数据如下: 在哪里是原始数据,和表示最大和最小的样本,分别。

均方根误差(RMSE)和平均绝对误差(MAE)用于评估标准,可以表达的方程(12分别)和(13)。 在哪里表示测量累计位移斜率,表示预测累计位移斜率,代表的预测值。

RMSE美反映了预测值和测量值之间的差别和分散程度的错误。RMSE,美越小,模型的性能就越好。

4.3。结果与讨论

根据培训过程,如前一节所述,普通网络的性能。SVR, LSTM,格勒乌、Bi-GRU Bi-LSTM,和Bi-GRU注意力机制,和转移网络模型,即。,Bi-GRU注意力机制和转移学习,评估使用测试数据集。

因为深度学习方法有特定程度的不确定性,模型训练和预测每次都可能有所不同。每个算法运行100次来评估模型的平均预测精度,降低预测结果的不确定性。SVR,核函数是线性的和惩罚因子(C)被设置为200,最好的预测精度。的结构参数和训练方法Bi-GRU-ATT (Bi-GRU模型与注意力机制)和TRA-Bi-GRU-ATT (Bi-GRU模型注意力机制和转移学习)是一致的:他们Bi-GRU包含两层;隐藏层中的节点Bi-GRU-ATT和TRA-Bi-GRU-ATT也在64年和128年,分别。批处理大小和时代也设定在30和120年,分别。

表3和4和数字9- - - - - -11现在比较,图10显示了不同模型的绝对预测错误。随机梯度下降法以来保持特殊的培训学习速率,收敛速度相对较低。因此,亚当优化算法采用学习速率适应每个参数。

实验结果证实了模型TRA-Bi-GRU-ATT提出达到最高程度的预测精度。根据最佳的RMSE值和梅,单一的预测精度可以更高的程度顺序: 。根据均值的RMSE值和梅,平均预测精度可以更高的秩序: 。虽然模型TRA-Bi-GRU-ATT获得最高程度的单一和预测精度,其稳定性小于SVR。在多个实验,当选择合适的核函数,SVR的预测精度保持不变。然而,由于必须调整太多参数,预测的稳定性TRA-Bi-GRU-ATT, Bi-GRU-ATT, Bi-GRU, Bi-LSTM,格勒乌,LSTM略差。

图11显示框情节比较不同模型的预测性能:绝对误差的分布。的绝对误差分布模型TRA-Bi-GRU-ATT比其他模型,集中和其预测性能优于他人。此外,它可以得出结论,转移学习增强了预测模型的性能从历史位移序列中提取关键特性协助学习新数据。它可以完全利用历史信息很长一段时间内,提供一个良好的体重初始化训练的边坡位移模型。

5。结论和未来的角度

这项工作建立了一个预测模型结合转移学习和深层神经网络,在深层神经网络采用Bi-GRU提取前后的信息分析位移级数。注意机制引入突出关键信息,减少历史信息的损失,从而进一步稳定模式,提高其预测效率。

由于复杂的外部环境,监测系统可以被摧毁,监测中断导致模型训练数据丢失。针对这个问题,我们引入学习使用历史数据转移到协助学习位移预测新数据。采取的斜率金玉水泥厂为例,实验结果表明,文中提出的模型提供了一个更高的精确度在预测边坡位移和有可能估计滑坡的位移,尤其是在有限的样本数据。

开发模型的缺点是位移预测曲线显示从一个监视点演化特征。然而,有九个监视点,以及它们之间的空间相关性被忽视。因此,很难揭示整个监控系统的位移变化。在未来,我们打算讨论不同监视点的置换序列之间的相关性和设计一种基于时间序列数据的时空预测方法从整个监控系统包含多个点。

此外,由于机器学习方法有一个特定的程度的不确定性,模型训练和预测可能有所不同。Ref。10]5流行的机器学习方法的性能相比,和实验结果表明,没有方法实现最好的结果在三个方面:单精度最高,平均精度和稳定性。因此,提高预测模型的稳定性,同时保证其准确性可以未来的研究重点之一。

数据可用性

的数据支持本研究的发现可以从相应的作者在合理的请求。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作是由中国国家自然科学基金批准号51674169下,中国河北省教育部批准号下ZD2019140,中国河北省自然科学基金资助下不。F2019210243,河北的科技项目批准号22375413 d。