文摘
由于土壤中重金属含量的预测精度普遍空间预测算法并不理想,基于改进的预测模型问提出了网络。状态值重用是用于加速训练样本的学习速度的代理深问网络模型的收敛速度提高。同时,介绍了加入自适应模糊因素变化的敏感性代理环境反馈值在不同的训练时间,提高融合后模型的稳定性。最后,采用一种自适应逆距离插值法来预测观测值的插值点,提高了模型的预测精度。仿真结果表明,与之相比,随机森林回归模型(RFR)和逆距离加权预测模型(IDW),土壤重金属含量的预测精度提出了模型提高了13.03%和7.47%,分别。
1。介绍
土壤是人类生存和发展的重要资源,以及整个生态系统的生命线。然而,随着生产水平的提高和经济的快速发展,土壤污染问题变得越来越严重。重金属污染是其中最困难的污染物在土壤污染源,这是很难被微生物降解。它不仅会影响农作物的生长,导致作物产量的下降,还可能通过饮食进入人体和其他方面,从而威胁到人类的生命和健康。刘型煤等人认为有noncarcinogenic和致癌的潜在风险对人类健康的吃蔬菜重金属污染。因此,有必要研究重金属在土壤。近年来,随着人们的注意力土壤重金属污染,越来越多的相关研究,更和更深入的1]。局域网等人用pinealone-biochar稳定钝化的铅、铜、锌、铬、和土壤中。可以看到,添加pinealone-biochar共存的土著微生物能有效减少重金属的生物活性,加速钝化重金属的2]。汗伊姆兰董和杨等人发现硅在土壤重金属有一定的解毒机制,它提供了一定理论依据减少土壤中重金属的毒性(3,4]。郭Xujing和刘型煤等人使用光谱结合平行因子分析和二维相关光谱研究络合重金属铬(III)的特点和铜(II)在土壤生物炭源WEOM [1,5]。使用玉米穗轴作为原材料,biochar-derived水可榨出的有机物可以获得低温(300oC)热解条件下,可用于土壤重金属修复。Rana Anuj和张Jiachun等人研究了重金属的生物活性(Cd和Cr)作物和认为,土壤中重金属污染可以通过减少处理重金属的生物活性6,7]。上述研究结果表明,当前对土壤中重金属的研究主要侧重于治疗,还有一些研究预测的内容,而内容预测土壤重金属的处理土壤中重金属的先决条件(8]。因此基于深度预测模型提出了强化学习。
2。基本方法
2.1。深问网络
深问网络是一个代表深刻的强化学习算法。结合深度学习的认知能力和决策能力的强化学习,政府行动的空间覆盖问题问表可以解决(9]。目标值的计算深问网络可以解决国家价值函数,公式所示(1)[10]: 在哪里θ网络在线值;目标价值网络;S是当前状态;一个是行动年代状态;r是代理奖励一个;意味着下一个国家达成的代理年代国家在行动一个。
图1显示操作过程的深问网络。
有过高的问题存在的深层的结合问网络与神经网络和强化学习,导致模型的预测输出值的估计误差,不能真正反映了实际价值(11]。此外,深的收敛速度问网络是缓慢的,模型收敛后的稳定性很差(12]。因此,为了解决这些问题,国家价值重用和利用模糊隶属因子改善深问网络。同时,自适应逆距离加权法是用来调整hyperparameters提高预测精度。
2.2。改善深问网络
2.2.1。状态值重用
状态值重用是结合部分的输出值函数获得的奖励值的形式奖励总额,可以替换原来的环境培训代理奖励价值,奖励总额,使参与的重量更新问网络。每一轮的训练后,网络误差计算,重量是更新。可以看到,在深水中的奖励值的计算方法问网络模型的重用价值公式所示(2)[13]: 在哪里年代当前状态;d执行的行动在吗年代状态。P执行后的状态概率吗一个,r (s, p)奖励的价值环境采取行动。 代表部分输出值;λ是调节因素,负责确定奖励返回值的主导地位的环境总回报值,以避免奖励返回值的大小的影响,环境模型收敛。
2.2.2。动态模糊成员因素
我们可以看到问重用可以优化网络状态值。环境反馈值和状态值的奖励问网络在一定比例组合。此外,组合模式保持不变在整个网络模型的训练。在实际应用程序中,问网络不是敏感环境反馈奖励在初始阶段的训练,因此不能准确判断当前环境的优点和缺点。因此,有必要减少状态值的比例提高代理的环境感知能力。在培训、参数问网络移动到最佳的解决方案,网络性能变得越来越高。应该适当调节因子增加到增强环境的奖励或惩罚代理执行操作。后期的培训,参数问网络基本上保持稳定和调节因子的最大值应基本上保持改善模型收敛速度(14,15]。因此在训练的过程问网络状态值和环境反馈的比例奖励价值总奖励值应该动态地变化。此外,加入动态模糊因素δ介绍了本文所示公式(3)[16]: 在哪里n当前的训练步骤的数目;n_total总数预测训练步骤。δ变化的变化n。当n很小,δ趋向于0。当n很大,δ逐渐增加。当n=n_total,δ方法1。
总之,奖励总额计算方法改进的深问网络模型如下(17]: 在哪里年代当前状态;一个执行的行动在吗年代状态。P环境转移到下一个状态的概率,r (s, p)的奖励价值环境采取行动。 代表部分价值函数的输出值问网络;δ是监管因素。
2.3。自适应逆距离加权方法
深问网络模型确定的奖励价值培训环境的观察插值点,所示公式(5)。然而,插值点的观测值是一个未知的值,通常是由逆距离加权法预测。根据(18),逆距离加权方法有插值效果差,因为它不能适应复杂的地形结构。为了解决这个问题,提出了一种自适应逆距离加权法。 在哪里年代是代理的当前状态;一个在执行操作年代状态;就是代理执行行动的进入下一个状态一个在年代状态; 的拟合值h我变异函数曲线上对应年代; 的拟合值吗h我对应于 ; 变异函数的离散点吗h我;r奖励价值与环境代理执行行动一个在年代状态。
自适应逆距离加权法,hyperparameters每个已知点的模型,和最近的相邻数据点计算。此外,形成多维空间离散点,和空间建模是通过克里格插值法(19,20.]。最后,相应的坐标插值点的预测输入空间模型,以获得相应的hyperparameters插值点。因此最终的预测值可以通过使用这个hyperparameter负重量插值点。相邻的距离计算如下(21]: 在哪里N采样点的总数在研究领域;一个研究区域的面积。
最近的相邻数据可以通过公式计算(7)[22]: 在哪里dn预计最近的预测点的距离;davg预期的研究区域最近的距离。
3所示。土壤重金属含量的预测基于改进深问网络
土壤重金属含量的预测过程设计如下:(1)进行预处理,将收集和整理原始土壤重金属含量为样本点数据集和插值点数据集。样本点数据与已知的观测值,样本数据集和插值点数据集样本数据集与未知的观测值。(2)使用自适应深问网络训练样本点数据集和记录每个点的逆距离加权最优hyperparameter。(3)组成所有最佳hyperparameters到一个新的数据集,并计算空间变异函数的离散点数据集获得的变异函数模型,所示公式(8)[23]。 在哪里年代是一组点支持吗V在随机领域z,任何两点向量在吗V。当变异函数二阶稳定过程,上述方程可以写成 在哪里Evar是数学期望和方差操作,u的数学期望在随机领域特定点。自协方差有关 ,公式(9)可以表示为 考虑到协方差与两个空间点的欧氏距离与方向无关,公式(10)可以表示为 (4)利用权重系数,见公式(13),建立拟合标准,见公式(14),估计变异函数模型的参数来获得最优变异函数模型及其最优参数: 在哪里拟合点的价值吗h我变异函数曲线,变异函数的离散点的h我,模型参数优化的目标函数。(5)采用克里格方法模型的新数据集获取hyperparameter分布模型。(6)输入数据的插值点到hyperparameter分布模型,并介绍了获得hyperparameters和相应的数据插值点到逆距离加权算法,以获得最终的预测土壤重金属含量的价值。
上述过程可以见图2。
4所示。仿真实验
4.1。数据源和预处理
郊区农田土壤重金属含量数据集选择长沙的实验数据集。考虑到有地理数据包括经度和纬度数据集,它是不适合直接输入到模型中。因此,地理数据包括经度和纬度在笛卡儿坐标系统转换成数据实验。同时,为了减少地理数据的大小,转换后的数据坐标转移到原点。此外,考虑到存在缺失值的数据集和不同范围的数据值对应不同的特性,意味着插值或删除数据,进行z分数标准化和预处理,如下所示:
4.2。评价指标
均方误差(MSE),均方根误差(RMSE),平均绝对百分误差(日军)和平均绝对误差(MAE)被选为在这个实验中,评价指标和计算方法如下24]:
4.3。参数设置
所有模型的初始参数设置相同,和具体设置如下:训练轮的最大数量是5000;训练样本的数量在每一轮64;随机种子是1;最大内存大小是500;剂的初始状态是(2,14];训练轮重量更新之间的区别问网络是200;卷积神经网络的学习速率是0.001;e-greedy算法的概率因子是0.9。
4.4。实验结果
4.1.1。模型参数估计
为了验证模型的有效性,该模型,深问网络模型、双深问网络模型和竞争深问网络模型是用来学习和训练逆距离加权算法的参数估计,和不同模型的训练数据集记录。下面所示的数据结果。
可以看到,横坐标是训练轮数,纵坐标是误差预测值与观测值之间(毫克/公斤)。更清楚地反映变化趋势的预测误差,平滑处理是原始图的基础上进行。这里的初始点不同的模型是不同的。原因是代理执行几个随机决策模型训练之前,导致不同的代理,然后模型的初始状态和初始点是不同的。然而,不同初始状态的代理不影响模型的性能。例如,Ni数据集,深的初始状态问网络和竞争问网络模型是略低于该模型。提出了模型的收敛速度高于深问网络和竞争问网络模型,这表明代理不影响模型的初始状态的性能。
图3和图4表明,模型的预测误差并不是单调递减当所有模型训练,但有一个情况达到最小误差,然后走向一个更大的错误,原因是模型达到局部最优状态在这个学习阶段。然而,该模型可以跳出局部最优状态通过自适应动态模糊成员因素和收敛到全局最优值;因此该模型具有一定的优越性。数据3- - - - - -5显示代理达到最佳状态后,它将返回到贫穷状态。原因是,当代理采用e-greedy战略做出行动的决定,有一些不必要的执行的操作,以减少模型,使模型的收敛速度回到贫穷国家在达到最优状态。数据3- - - - - -6显示,与对比模型相比,该模型具有更快的收敛速度和更稳定的性能,并且可以避免陷入局部最优。
(一)
(b)
(c)
(一)
(b)
(c)
(一)
(b)
(c)
(一)
(b)
(c)
不同模型的收敛时间当执行参数估计在不同土壤重金属数据集如表所示1。可以看到,最小最小收敛时间的模型实验重复10次;意思是平均收敛时间的模型实验重复10次;> >代表模型仍然不收敛后达到训练轮的最大数量。根据表,相同的收敛时间模型在不同的数据集是不同的,不同模型的收敛时间和相同的数据集也不同。之间的差异最小收敛时间和平均收敛时间的模型很小,这表明每个模型稳定,实验结果是可靠的。竞争深问网络模型不收敛后达到的最大数量的训练轮Cr和Ni数据集。此外,最小收敛时间和平均收敛时间的自适应深问网络模型在每个数据集是小于对比模型;因此该模型具有更好的性能和一定的优势。总之,提出模型的收敛速度优于对比模型,性能更好,并能达到预期的效果。
10/24/11。模型的预测结果
来验证预测模型对土壤重金属含量的影响,提出之间的预测效应和随机森林回归模型(RFR)和逆距离加权模型(IDW)进行比较。结果如图7∼10,比较预测值和实际值在测试设置如图11。在数据7∼10横坐标和纵坐标是取样点和预测价值(毫克/公斤),分别。在图11,一个是光盘数据集上验证结果;b是Cr的验证结果数据集;c是Ni数据集上验证结果;和d是Pb的验证结果数据集。
(一)
(b)
(c)
(一)
(b)
(c)
(一)
(b)
(c)
(一)
(b)
(c)
(一)
(b)
(c)
(d)
从数据可以看到7(一)和7(c), IDW模型预测值和实际值之间的误差是显而易见的。该模型预测值和实际值之间有一个很大的错误,基本上大部分采样点的预测值与实际值相吻合,因此,hyperparameters模型的自适应调整,空间数据和模型的预测精度是提高。此外,数据7(b),8(b),9(b)10(b)显示,预测值和实际值之间的误差RFR模型训练集是最小的,和预测效果是最好的。原因是RFR模型具有较高的非线性数据的特征提取能力,它可以适应高维数据。数据7- - - - - -10表明,RFR模型有最好的训练数据集的空间预测性能。提出模型和IDW模型的预测性能差一些采样点,但误差在可接受的范围之内的。
图11显示了不同模型的预测效果测试数据集,和总体趋势基本上是相同的。对于RFR模型,预报值之间的误差在测试设置和实际值很大,这是明显高于IDW模型和提出的模型。其原因可能是训练过程中在RFR模型过度拟合。更重要的是,学会了毫无意义的特性,从而导致糟糕的预测性能。IDW模型相比,模型的预测值更接近实际值,也没有异常的预测价值,这表明该模型具有更稳定的空间预测性能。总之,模型的预测性能优于RFR模型和IDW模型。
定量分析每个模型的性能,每个模型的评价指标进行了比较,结果如表所示2。可以看到,在训练数据集,RFR模型的指示值低于提出模型和IDW模型。然而,在测试集、指标的值大于RFR模型提出的模型,这表明RFR overfits训练集。为了避免这种情况,RFR模型的参数需要调整,这将消耗大量的时间成本。与IDW和RFR模型相比,MSE, RMSE,日军,美提出的模型在测试集上的值较低。原因是自适应深问网络能自适应地分配相应的hyperparameters每个预测点,使模型更适合预测点的插值空间特征。预测结果更准确,与上面的结论一致,这表明,提出的模型具有最好的性能指标。相比RFR模型和IDW模型,提出了模型的预测精度提高了13.03%和7.47%,分别与土壤重金属含量的预测性能是最好的。
5。结论
总之,土壤重金属含量的预测方法提出基于深度强化学习使用深问网络基本模型,利用状态值重用促进剂快速学习训练样本;从而提高模型的收敛速度。同时,介绍了加入自适应模糊因素变化的敏感性代理环境反馈值在不同训练时期,后模型的稳定性,提高了收敛。此外,采用自适应逆距离插值法来预测插值点的观测值;从而提高模型的预测精度。与RFR模型和IDW模型相比,该模型在MSE性能更好,RMSE,日军,美。土壤重金属含量的预测精度较高,分别增加了13.03%和7.47%。虽然取得了一定的研究成果,仍有一些缺点。由于插值精度高,所提出的预测模型需要大量的时间来完成培训,有一定的劣势的土壤重金属含量的实际预测。因此,需要找到一种更合适的方法来训练模型,以缩短训练时间。
数据可用性
使用的实验数据来支持本研究的发现可以从相应的作者。
的利益冲突
作者声明,关于这项工作他们没有利益冲突。
确认
这项工作的部分赞助由科学和教育合作项目的湖南省自然科学基金(2020 jj7058)。