文摘

持续改进的自动化在工业生产、工业过程数据往往到达不断在许多情况下。增量地处理大量数据的能力和效率是必不可少的现代机器学习(ML)算法。根据工业生产过程的特点,我们解决一个ILES(增量学习整体策略),包含增量学习从不断传入的数据中提取有效信息。ILES聚合多个sublearning机的不同重量的准确性。新数据集时,一个新的子机将被训练和聚合为合奏软测量模型根据其重量。其他子机的重量将同时更新。然后一个新的软传感器整体模型可以获得更新。重量更新规则设计的考虑子机的预测精度与新的数据到达。所以更新可以适应数据变化和有效地获取新的信息。学习的大小比例建立软测量模型的信息规模的工业生产数据的流程和测试导弹的性能,在榆树(极端学习机)被选为sublearning机器。 The comparison is done among new method, single ELM, AdaBoost.R ELM, and OS-ELM, and the test of the extensions is done with three test functions. The results of the experiments demonstrate that the soft sensor model based on the ILES has the best accuracy and ability of online updating.

1。介绍

在工业过程,植物通常是严重和大量的传感器检测过程监控和控制。然而,仍然有许多工艺参数不能准确测量的高温、高压、复杂的物理、化学反应和大延迟等,软测量技术提供了一个有效的方法来解决这些问题。最原始的还是最主要的应用领域软传感器对过程变量的预测,可以确定在低抽样率或通过离线分析。因为这些变量通常是相关过程产品质量,他们对过程控制和质量管理非常重要。此外,软传感器应用领域通常指在线预测过程中生产。

目前,随着工业生产自动化的不断改进,大量的工业过程数据可以测量,自动收集和存储。它可以提供强有力的支持数据驱动的软测量模型的建立。与此同时,随着大数据技术的迅速发展和广泛应用,软测量技术已经广泛应用在工业的发展中扮演着重要的角色在工业生产过程检测和控制系统。人工智能和机器学习的重要核心技术,越来越多的重视。传统的机器学习算法通常是指单一学习机器模型训练的训练集,然后将基于该模型预测未知样品。然而,单一的学习机器模型必须面对自己无法克服的缺陷,如不满意精度和泛化性能,特别是对于复杂的工业过程。具体来说,在监督机器学习方法,该模型的假设产生预测新传入的实例通过使用预定义的标签实例。当多个假设支持最终决定聚合在一起,它被称为整体学习。与单一学习机器模型相比,集成学习技术有利于提高质量和精度。因此,越来越多的研究人员正在研究如何提高速度,精度和泛化性能的综合算法,而不是发展强有力的学习机器。

整体算法最初是为解决二元分类问题(开发1),然后演算法。M1和演算法。M2是由弗洛伊德提出和Schapire [2为解决multiclassification问题。到目前为止,有许多不同版本的提高算法求解分类问题(3- - - - - -7),如提高过滤和提高二次抽样。然而,对于回归的问题,不可能完全一样,在分类预测输出。使用整体技术解决回归问题,弗洛伊德和Schapire [2扩展的演算法。M2演算法。R,哪些项目回归样本数据集分类。德鲁克(8提出的演算法。R2的算法,这是一个临时修改AdaBoost.R。Avnimelech和Intrator9)延长了提升算法回归问题通过引入弱和强学习的概念以及两者之间一个适当的等价定理。菲力(10)提出本(大误差)提高方法,这很类似于AdaBoost.R2。在本,预测误差与预先设定的阈值比较,本,和相应的例子是预测分为好与坏。Shrestha和Solomatine11提出了一个演算法。RT,过滤的概念相对估计错误的例子是高于预定阈值。然而,阈值的值很难设置没有经验。为解决这个问题,田和毛12]目前修改后的演算法。RT算法能够自适应地修改阈值根据RMSE的变化。虽然整体算法能够提高软传感器的准确性,他们还亏本为进一步的信息在新到来的数据。

近年来,随着数据量的快速增长,出现了一个新的研究视角面对大量的未知输入数据流中包含的重要信息在各领域的合作。我们如何获得的方法可以快速有效地提取信息不断传入的数据?批学习是毫无意义的,算法需要实时处理的能力,因为需求的工业过程的实时更新数据。增量学习的想法有助于解决上述问题。如果一个学习机器有这样的想法,它可以从新的数据集和学习新知识可以保留旧知识没有访问旧的数据集。因此,增量学习策略可以深刻地增加新数据的处理速度,同时节省计算机的存储空间。集成学习方法相结合可以提高整体策略的特点和增量学习。这是一个有效和合适的方法解决问题的流数据挖掘(13- - - - - -15]。学习+ +是一个代表整体算法和增量学习的能力。该算法由Polikar等人基于演算法和监督学习(16]。在学习+ +,新数据也分配样本权重,根据分类的结果更新在每个迭代。然后,添加一个新训练弱分类器的集成分类器。基于学习+ + cd算法G Ditzler和Polikar提出学习+ +聂(17)提高分类效果几个类别。增量学习和整体算法的研究大部分集中在分类领域,在研究领域的回归仍较少。同时整体方法的限制,他们不能解决增量学习的关键问题,最关键的问题是随着时间的推移积累经验然后适应和使用它来促进未来的学习过程18- - - - - -20.]。

在工业生产的过程中,越来越智能方法用于软传感器与人工智能的快速发展。然而,软传感器在工业生产的实际应用并不好。软传感器是不令人满意的普遍短缺,穷人和不稳定的预测精度,在线更新的能力。很难满足各种工业生产过程的变化。因此,在这篇文章中,我们主要关注如何添加增量学习能力整体软测量建模方法,希望提供有用的建议来提高发电和在线软传感器对工业过程的应用能力。针对软传感器工业应用的要求,提出了一种新的检测策略与多个学习机器乐团改善软传感器基于智能算法的准确性。此外,在实际生产应用中,采集的信息在新的生产数据是昂贵和费时。因此,有必要更新软传感器以增量的方式,以适应新的数据在不影响旧数据上的性能。实际上,在大多数工业过程,传统的智能预测模型的更新往往被忽视。一些模型更新方法,使用传统的培训模型通过使用生产数据或使用更新后的所有数据和放弃旧的数据。 This kind of methods is not good enough because some good performances have to be lost to learn new information [21]。在此背景下,提出了一种新的增量学习整体策略有更好的增量学习能力建立软测量模型,可以学习更多的信息从先前获得的新数据和保护知识。更新不需要原始数据用于训练现有的旧模式。

在本文的其余部分,我们首先描述增量学习整体策略的细节(ILES),其中包括战略更新权重,整体战略和策略的增量学习实时更新。然后,我们设计实验来测试的性能ILES工业过程软传感器。软测量模型的大小比例建造的ILES分级生产过程。ILES的参数进行了讨论。我们也比较的性能ILES其他方法。为了验证新算法的普遍使用,三个测试函数是用来测试ILES预测的性能上的改进。最后,我们总结我们的结论,强调未来的研究方向。

2。增量学习的整体策略

工业过程需要软传感器具有良好的准确性和在线更新性能。在这里,我们专注于将增量学习的想法纳入整体回归策略来实现更好的性能软传感器。一个新的整体战略ILES呼吁工业过程软传感器相结合的整体策略提出了增量学习的想法。导弹有能力提高软传感器的准确性通过聚合多个sublearning机根据他们的训练误差和预测误差。此外,在迭代过程中,添加增量学习获得的新数据的信息更新权重。它有利于提高工业生产过程的实时更新能力在线软传感器。ILES的细节描述所示算法1。

2.1。战略更新的重量

在每一次迭代 ,最初的 分发给每个样本吗 使用相同的值。这意味着样品有相同的机会被包括在训练数据集和测试数据集。在随后的迭代,将计算重量 对于每个sublearning机器(在每个迭代中 )。相比传统的演算法。R,在这里,测试subdataset添加在每个迭代测试的学习性能。是有用的,以确保整体的泛化性能软传感器。然后,将分布改变根据培训和测试每个迭代结束时的错误。在这里,subdataset培训和测试subdataset将随机选择的根据(例如,通过使用轮盘赌方法)。sublearning机是训练有素的 ,和假设软传感器 将获得的。然后,训练误差和测试误差可以计算如下: 的错误率在 定义如下:

如果 ,的子模型被认为是一个不合格的和可疑的模型。假设是放弃。否则,功率系数计算 (例如,线性、广场或立方)。在这里, 是确定系数。后 迭代,复合假说可以根据获得的假设软传感器(sublearning机) 。培训subdataset错误,测试subdataset错误,错误的速度同样的计算 。同样,如果 ,假设是放弃。在迭代结束时,根据错误率 ,重量更新如下: 在哪里 。在下一次迭代和将再次选择根据新的分布,计算的新重量吗 。在上面的迭代过程中,权重的更新依赖于训练和测试sublearning机器的性能与不同的数据。因此,有大量错误的数据将有更大的困难学习分布。这意味着“困难”数据将有更多的机会被训练到数据中的信息。相反,sublearning机器或假设软传感器选择性保留基于他们的表现。因此,最后假设软传感器是合格的聚合复合假设。这种策略是非常有效的提高整体软传感器的准确性。

2.2。乐团与增量学习的策略

针对实时更新的需要,增量学习策略是集成到整体的过程。首先,subdatasets , 选择随机的数据集。在每个迭代中 ,sublearning机器训练和测试。因此,对于每个subdataset,当内循环( )完成,假设软传感器 生成。一个软传感器获得基于个人的组合输出假说,构成复合假说 。 在这里,更好的假设将聚合更大的机会。因此,最佳性能的整体软传感器确保基于这些sublearning机器。然后,培训subdataset subdataset误差和测试误差可以计算出同样的错误吗 。 的错误率在 定义如下: 后假设为每个subdataset生成,最后的假设通过加权多数表决的复合假设。 当新数据不断在工业过程中,将生成新的subdatasets(他们将 , …)。基于一种新的subdataset,一个新的假设软传感器可以通过一个新的迭代训练。新的数据将得到的新信息和添加到最后试装软传感器根据(7)。添加增量学习策略、整体软传感器基于更新旧的假设。因此,旧数据中的信息也保留,从新的数据的增量信息。

在上面的ILES,总的来说,整体的策略是有效的提高预测精度使用分布发生了变化。因此,ILES将更多地关注“困难”数据与大错误在每一个迭代,由于新分布。由于努力学习“困难”的数据,可以获得更多的信息。因此,软测量模型是建立更完全,毁灭之路的准确性提高。此外,用来训练sublearning机器的数据分为训练subdataset subdataset和测试。测试错误将用于以下步骤:重量更新和复合假说。因此,基于ILES软测量模型的泛化可以提高效率,特别是与传统算法相比。此外,添加新数据时,新ILES增量学习能力可以学到新的数据实时,不放弃旧的信息从旧的数据。ILES可以保存信息的旧sublearning机器训练,但它不需要保存原始数据。换句话说,只有少量的新的生产数据保存就足够了。 This strategy is efficient to save space. Furthermore, the new ILES also may save time compared with the traditional updating method. This strategy is attributed to the conservation of the old和复合假设(sublearning机器7)。

3所示。实验

在本章提出ILES测试浆纱生产过程的预测估计百分比。首先,每个参数的影响,对该算法的性能进行了探讨。与此同时,实际工业过程数据用于建立软测量模型来验证增量学习算法的性能。最后,以证明其泛化性能,三个测试函数是用于验证预测性能的提高。方法是使用MATLAB语言实现的,所有的实验与英特尔核心上执行PC 7500 u CPU (2.70 ghz每个单芯)和10 Windows操作系统。

3.1。分级生产过程和大小的百分比

二次和双重压力分级过程是广泛用于纺织厂,如图1。大小比例的过程中扮演着重要的角色为良好的上浆质量分级。此外,经纱上浆浆料的控制对提高生产力和产品质量至关重要。大小比例的在线检测是一个关键因素在分级过程中成功的分级控制。传统的分级检测方法,仪器测量和间接计算,有昂贵的价格或不令人满意的精度。软传感器提供了一个有效的方法来预测分级比例和克服上述不足。根据分级过程的机理分析,影响因素的大小比例是泥浆浓度,泥浆粘度、泥浆温度、第一次灌浆的压力辊、二次灌浆的压力辊、浸没式辊的位置,施胶机的速度,覆盖系数的纱线,纱线张力,干燥温度(22]。在接下来的软测量建模过程,软传感器的输入是九个影响因素,和输出大小比例。

3.2。实验参数的导弹

在这里,我们选择榆树作为sublearning ILES机,由于其良好的性能,如学习速度快和简单参数的选择(22,23];附录评论榆树的过程。然后,实验用不同参数ILES完成研究的性能趋势ILES当参数变化。

首先,实验评估ILES算法的性能是用不同的 。在这里,从1增加到15。图2显示的结果与不同的训练误差和测试误差 。随着越来越多的 ,训练和测试的错误减少。当增加到7,测试误差是最小的。然而,当增加到超过9,测试误差变大了。此外,训练误差仅略有下降。因此,我们可以得出结论,当参数7,ILES的性能是最好的。演算法之间的比较也做。R和ILES有关测试与不同数量的榆树图错误3。虽然RMSE演算法的方法。R和ILES是不同的,他们的表现与越来越多的榆树趋势是相似的。在这里,RMSE被描述为

第二,我们讨论的影响参数(和 )ILES性能变化。实验表明,当太小,榆树的性能很难达到预设的目标,和迭代很难停止。也不大于80%的相对误差的平均值的榆树;否则,不能获得。此外,的价值确定“样品”的数量。这里的“样本”指的是样品,可以达到预期的精度标准子机的预测结果。如果太小,榆树软测量模型( )将无法获得。如果太大,“坏”榆树模型( )将聚合为最终的复合假设 。然后,ILES的准确性得不到提高。之间的关系 ,和RMSE如表所示1。当 和 ,模型具有最佳性能(RMSE是0.3084)。

3.3。实验学习过程的导弹

建立软测量模型基于ILES,共有550个观察真实的生产数据收集从天津纺织工程研究院有限公司,有限公司,其中50个数据随机选择测试数据。剩下的500年的数据被分成两个数据集根据生产时间。前450年的数据作为训练数据集,而后者50个数据用作更新数据集。输入9因素影响大小的百分比。输出的大小比例。ILES的参数 , , ,和 。也就是说,450年的训练数据分为9 subdatasets ,和榆树的数量是7。根据规模生产的需要,预测的准确性软传感器被定义为 在哪里与一个错误的次数< 0.6和是测试的总数乘以。

自学习过程类似于OS-ELM [24更新过程。它是一个在线评估模型,能够更新网络参数基于新到达的数据没有通过历史数据。因此,虽然比较IELS学习过程的准确性,也与OS-ELM相比。表的两列在右边2显示软测量精度的变化在ILES和OS-ELM的学习过程。可以看出ILES的稳定性和精度优于OS-ELM。

3.4。比较

在这个实验中,我们使用10倍交叉验证测试模型的性能。第一个500数据集随机分为10 subdatasets~。剩下的50个数据集用于更新数据集₁₁。单一subdataset从~将被保留作为测试的验证数据模型,和其余9 subdatasets作为训练数据。比较新的方法与其他软测量方法,单一榆树和合奏榆树基于演算法。R也应用于构建分级比例软测量模型与传统方法相同的数据集,如下列出的软测量模型。

单一榆树模型:主要影响因素大小比例模型的输入。输入层的榆树9节点。榆树的隐层有2300个节点,和榆树的输出层有一个节点,即大小百分比。

演算法。R模型:基本榆树的参数和结构相同的单一的榆树。演算法。R有13个迭代。

ILES模型:榆树是上述单一榆树模型一样。ILES的参数 , ,和 (163年代费时)。

数据4(一)- - - - - -4 (c)显示了不同的软测量模型的预测分级比例根据不同的方法。ILES的实验表明,该策略可以提高软测量模型的准确性。此外,上述三个模型的训练误差均可达到0.2。然而,测试的错误演算法的预测模型。R和ILES小于单一榆树。这个结果意味着整体方法有更好的泛化性能。表3显示的性能预测模型更新后根据不同的方法。对比实验结果表明,该软测量基于新ILES最好的准确性和最小的RMSE。这个结果是由于使用测试subdataset整体战略和增量学习过程中学习策略的ILES算法。总的来说,软测量的准确性可以符合实际生产过程的需要。此外,增量学习的性能可以保证工业过程软传感器在实际生产中的应用。

3.5。导弹的性能的实验测试函数

来验证算法的普遍使用,三个测试函数是用来测试的改善预测性能。这些测试功能是弗里德曼# 1,弗里德曼弗里德曼# 2,# 3。表4显示每个测试的表达模型和每个变量的值范围。弗里德曼# 1共有10个输入变量,其中有五个输入变量与输出变量有关,和其他五个输出变量的输入变量是独立的。弗里德曼弗里德曼# 2和# 3测试函数合并交流电路的阻抗相位变化。

通过不断调试,确定每个算法的参数如表所示5。对于每一个测试函数,生成一个共有900个数据,和样本选择作为训练样本总数的78%,11%和11%,测试样品更新样本,根据不同的测试模型的必要性。也就是说,700年的训练数据分为7 subdatasets~。数据5- - - - - -7弗里德曼# 1的预测结果,弗里德曼弗里德曼# 2,# 3与不同的软测量模型基于不同方法(耗时227年代)。不同的软传感器的性能的比较如表所示6。它显示了软测量模型基于ILES具有最好的性能。

4所示。结论

一个ILES算法更好的准确性和增量学习能力为工业过程软传感器。大小比例建立软测量模型的性能测试导弹。影响大小比例的主要因素是软测量模型的输入。然后,整体模型不同subtraining训练数据集,和软测量模型与增量学习获得的性能是ILES策略。当新数据添加到一定数量,该模型使用增量学习策略将被更新。新的分级比例软测量模型用于天津纺织工程研究院有限公司有限公司实验证明基于ILES新的软测量模型具有良好的性能。新的软测量模型的预测精度可以满足规模生产。最后,新ILES还测试了三个测试函数验证普遍使用的性能与不同的数据集。因为subdataset的大小是不同的大小比例,实验可以从预测结果得出subdataset的大小不影响算法的性能。在未来,ILES也可以用于其他复杂的工业过程,需要使用软传感器。

附录

对极端的学习机器

单隐层前馈网络(SLFNs)与随机隐藏节点

为任意不同的样品 ,在哪里 和 ,标准SLFNs隐藏节点和激活功能是数学建模为

在哪里 权向量连接吗th隐藏节点和输入节点, 权向量连接吗th隐藏节点和输出节点, 的输出向量SLFN,的门槛我隐藏的节点。 表示的内积和 。选择线性输出节点。的标准SLFNs隐藏节点的激活函数可以近似这些样品与零位误差就是这样 。这些方程可以写简洁如下:

在哪里

和

在这里,是隐层输出矩阵。

榆树算法。隐藏节点的参数不需要调整,可以根据任何连续概率分布随机生成的永久。独特的最小标准最小二乘解的线性系统

在哪里H⁺Moore-Penrose广义逆矩阵吗H。

SLFNs因此,一个简单的学习方法,称为极端学习机(ELM),可以概括如下。

步骤1。随机分配输入重量和偏见 ,

步骤2。计算隐层输出矩阵H。

步骤3。计算输出的重量 。

榆树的万能逼近能力进行了严格的证明了在一个增量方法等。(23]。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

这项研究由中国国家自然科学基金支持(授予号。71602143,61403277,61403277,51607122),天津市自然科学基金(18 jcybjc22000)、天津科技项目(没有记者。18 jctpjc62600),在天津大学创新研究团队项目(td13 td13号- 5038 - 5036),和过程自动化国家重点实验室在采矿和冶金过程自动化/北京重点实验室在采矿和冶金研究基金项目(矿冶- kzskl - 2017 - 01)。