文摘

数据驱动的质量监控是高度要求在实践中,因为它可以缓解手册的质量检验产品质量。传统的数据驱动的质量监控是受制于其离线特性从而无法处理流感官的性质数据和非平稳的环境的机器操作。最近,有开创性的著作在线质量监控在文献利用在线学习的概念,但它还远未实现最低操作员介入质量监控,因为它要求全面监督标签数据样本。提出了简洁的网络+ + (ParsNet + +)作为一个在线semisupervised学习方法能够处理极端标签缺乏质量监控任务。也就是说,它有能力应对各种semisupervised学习条件包括随机存取的地面真理和无限推迟访问的真理。ParsNet + +功能一次通过的学习方法处理流数据,同时克服弹性结构快速变化的数据分布特征。也就是说,它能够从头开始学习结构缺乏一个预定义的网络结构,它可以添加隐藏节点和丢弃在漂移数据分布。此外,它由特征提取装备一层一层的一维卷积提取多元时间序列数据的自然特征的传感器和很好地应对样品标签多对一的关系,实际质量监控一个常见问题。严格的数值评估进行了使用注塑机和工业转移成型机从我们自己的项目。ParsNet + +提供高度竞争的性能甚至完全监督竞争对手相比。

1。介绍

1.1。背景

预见性维护吸引了来自学术界和产业界的兴趣日益增强,因为它提供了优化机器的生命周期,准确的机器的维护、规划和预防不必要的停机时间和产品的浪费1]。在刀具状态监测领域,更换过于频繁的工具不仅会导致昂贵的维护成本,也打断了生产周期。另一方面,钝工具产生高能源消耗的应用高切削力或破坏了表面处理。

准确质量监控起着至关重要的作用在减少排斥率的客户导致高客户满意度和会议有关部门设定的特定标准。质量监测的常用方法,就是仍然通过多级视觉检验认为过度劳动密集型,容易出错,而缓慢。手工质量监测的另一个缺点是一致性的问题。即人类操作员往往有偏见和受到不确定因素的影响,如经验,迷彩服,无聊等。这种理由触发需求增加的数据驱动的质量监测利用人工智能(AI)技术喂养实时信息产品的质量2]。相比传统的第一原理方法,数据驱动的质量监测显著减少开发时间。它依赖于传感器收集的数据集或摄像机安装在生产线建立预测模型预处理后通过信号处理和特征提取技术来产生有意义的功能。

1.2。相关的工作

深入研究一直致力于发展可靠的质量监控方法。在[3),该工具metal-turning过程的条件是使用神经网络预测。利用模糊神经网络来预测刀具磨损的ball-nose首先过程使用振动数据(4]。在[5,6),故障检测方法在轧钢厂过程中提出了使用all-coverage数据驱动的方法使可能的集成许多传感器。深度学习的崛起与它的自动功能工程步骤提取数据驱动的自然特性允许简化质量监测使绕过复杂的特征提取步骤。在[7卷积神经网络,提出了基于ResNet50激光制造过程进行质量监控。堆叠稀疏autoencoder (SSAE)结合遗传算法来优化其参数,提出了确定激光焊接质量(8]。尽管他们在各种生产应用程序的成功,但是这类方法在本质上是离线的,因此固定一旦部署无法适应快速变化的环境的过程参数。他们的迭代训练过程不是memory-wise,不跟上高速的制造过程。一个完整的培训过程从头请求在处理过程中改变。

在线质量分类方法已经在[先进9]在GEN-SMART-EFS结合增量部分最小二乘(ipl)方法对特征选择方法监测微流控芯片的质量。一个扩展的工作提出了(10)遗忘策略的执行处理概念漂移和流程优化的多目标进化计算方法。另一种方法预测metal-turning刀具磨损的过程提出了(11]。它是基于吝啬的合奏+ (pENsemble +)算法利用网络自主学习的方法来处理品牌的匮乏的问题。

1.3。我们的方法

在线质量分类的区域仍然值得调查,因为现有的方法还不能真正自治的方法。他们大多是由完全监督学习原则需要相当大的标签在流环境中工作。它遭受大量的运营商依赖完全注释数据样本模型的更新尤其是在高速生产过程。在[12),semisupervised深度学习方法提出了质量监控任务使用堆叠autoencoder方法。然而,这种方法并不是专为流媒体环境。另一种方法是提出了(13)在线semisupervised质量监测使用加权主成分回归的概念。然而,这种方法方式的学习方法。另一个开放的问题在于特征提取步骤通常是特定于应用程序的(14),要求强化离线阶段。尽管事实上,深度学习解决方案开始接的研究兴趣,深的概念特点是工程步骤利用绕过复杂的特性,它们是建立在离线训练过程成为过时很快下的非平稳特征的制造过程。此外,他们是在一个完全监督工作原理导致相当大的标签成本。另一个问题在于标签的存在多对一的关系(15)一批数据与一个单一的和持续的类标签。这个问题可能会导致过度拟合问题的一个特定的类或粒度的损失如果一批数据组合成一个单一的实例。这个问题经常状态监测中发现的问题,在质量检查后才进行大量生产。总之,存在一个强劲需求在线semisupervised深质量监控的学习算法。这种算法能够学习从流媒体数据没有从头再培训而绕过复杂的特性工程阶段。出现的一个新概念,由于改变环境可以快速处理复杂性的前提下而自然特征提取。

在线semisupervised深层神经网络,即吝啬的网络+ + (ParsNet + +),提出了进行实时学习在稀缺的标签样本在线质量监控在注塑过程中(16)和工业转移成型过程。ParsNet + +形式的一个重要扩展最近开发semisupervised学习算法的高速数据流,吝啬的网络(ParsNet) [17]。ParsNet + +能够从头开始其学习过程没有预定义的结构而隐藏节点自动种植和修剪从克服概念漂移的数据流。它处理部分标签数据流在两个设置:随机存取的地面真理和无限推迟访问的真理。关键特性存在于autoregularization方法处理由于噪声pseudolabel错误的积累。

ParsNet + +的潜在创新在于存在的特征提取层应对原始样本的一维卷积层综合处理多变量时间序列数据来自传感器和标签多对一的关系。这个属性可以跳过一个复杂的特征提取工程步骤因其能力的自然特性。特征提取层结构是一层堆叠卷积生成深特性完全连接层。此外,完全连接层结构的自组织神经网络single-hidden-layer处理过程变化。

ParsNet + +的结构学习机制是由网络意义(NS)方法源自偏见方差分解方法。它不同于原始的NS法(18)与自治的集群机制的存在(ACM)估计概率密度函数。ACM地址过时的概率密度函数如果发生概念漂移,同时放松严格的正态分布假设不适合实际情况。与传统集群技术,ACM特性的自组织性质的自动生成和修剪的集群机制。ACM区分自己从AGMM原始ParsNet经常在高输入维度情况下是不稳定的。

学习阶段的参数下进行联合优化问题最小化重建损失和歧视的损失加上autoregularization机制。即正则化过程是来自突触情报(SI)的概念,提出了防止灾难性的问题忘记问题[19]。它计算参数重要性使用积累的梯度网络突触。这种技术是广义这里它是用来记住最佳网络参数引起的清洁标签。标签浓缩方法最初是通过标签增加机制进行标签样本被注入摄动控制噪声而离开自己的标签不变。推而广之,self-labelling机制进行生成pseudolabel未标记的样本。推断ACM的预测输出和网络本身如果他们有信心用自己的预测。

自主质量监控与弱监督下正式两种设置:随机存取的地面真理和无限推迟访问的真理。前者描绘部分标签数据流,只有一小部分数据样本具有真正的类标签。后一种情况会领先一步,贴上样品在热身阶段只留下未标记的其余部分。此外,质量监控问题包含两个场景,目前批量预测和提前一步预测。当前批预测是预测当前产品质量,而第二个目的是预测产品质量在接下来的数据流,所有这些都进行prequential test-then-train协议,标准的仿真协议的数据流和模拟使用注塑机的实际使用情况,和工业转移成型机从我们自己的项目。我们严格的数值研究表明成功的ParsNet + +在线质量分类在弱监督下,它提供了最令人鼓舞的结果甚至完全监督竞争对手相比。

总之,本文讨论提供了四个主要的贡献续集:(1)介绍ParsNet + +处理在线质量分类下的注塑工艺和工业转移成型工艺semisupervised环境。即semisupervised环境引起的随机存取地面真理和无限推迟访问的真理。(2)本文提供了一个扩展的ParsNet [17),介绍了一维卷积层解决的问题特征提取和多对一的标签的关系问题。(3)自动聚类机制(ACM)是为一个灵活的开发密度估计方法导航结构学习阶段。ACM替换原始ParsNet AGMM的作用[17)遭受的高维问题的执行问题。此外,ACM比AGMM带来更少的参数。(4)ParsNet + +代码,原始的数值结果,并公开在注塑数据集https://github.com/ContinualAL/ParsNetPlus使提出的研究课题的进一步研究。

本文的其余部分的结构如下:部分2论述了问题公式化;部分3概述了ParsNet + +的学习政策;部分4阐述了注塑机;我们的数值研究部分中解释5;在第六节和一些结论。

2。问题定义

从数据流被定义为一个学习学习永无止境的批量数据的问题 在哪里是数据流的数量,在实践中未知。这个属性要求一次扫描的学习方案,数据流是丢弃一旦学会抑制低水平的计算和内存的复杂性。数据流由数据样本 没有标签的地方表示输入数据批处理 表示一个输入向量。 分别是批处理大小和输入维数。领域的全面监督学习环境中,地面真理访问 在哪里是输出维度可以立即引起。这种假设是不现实的尤其是在质量分类的背景下。预计一些延迟,因为产品质量是通过目测检查。Semisupervised这里正式数据流在两个设置:零星的地面实况和无限推迟访问地面实况。随机访问地面真理:这种情况下划定一个事实操作员标签样本数据偶尔导致部分标签数据流。也就是说,一个真正的类标签以随机的方式到达。换句话说,只是部分标记与目标标签。无限推迟访问地面实况:第二种情况比第一个更严格的情况下访问真正的类标签只是给事先录音被美联储在流程运行前的预热期离开未标记的其余部分。换句话说,只提供最初的标签。具体来说,只有第一个数据批处理标签没有改变数据的顺序。

与传统的数据流,semisupervised数据流不遵循静态和可预测的数据分布,它们包含概念漂移。有变化的数据分布,导致联合概率分布的变化 。它需要一个模型,该模型能够适应概念漂移有/没有真正的类标签的存在。即模型应该能够适应概念漂移即使不在真正的类标签。这个概念漂移与注塑机感应在我们的实验中通过改变控股压力和注塑机的注射速度psi和分别rpm。在线质量分类问题提出了三个类的多类分类问题,即好,编织,短小精悍。数据样本的数量三个类,分别为1008、1074和870年,分别。这个问题是指导下48输入属性记录不同的机器参数。

3所示。学习ParsNet + +的政策

概述ParsNet + +的学习政策描述了算法1。它开始从ACM估算的学习过程复杂的概率密度函数和确定因素隐藏的节点 。注意,ParsNet + +直接注入隐藏节点如果隐藏节点增长条件满足。此外,ACM本身是灵活变化的学习环境 因为它功能一个弹性结构使集群可能被添加或删除。的概率密度函数由ACM喂养ParsNet + +的结构学习阶段生成的学习阶段进行第一个条件的网络结构缺乏真正的类标签。结构学习阶段涉及隐藏节点成长和修剪过程适应虚拟漂移问题。即构造演化是导航的重建误差。参数学习阶段设计尽量减少损失和重建创造一个理想的歧视表示未标记的样本。网络参数是歧视的进一步演化阶段与访问真正的类标签一旦完成生成阶段。换句话说,生殖和歧视培训阶段发生在一个完全耦合的方式。之后进行的标签浓缩机制执行标签样本模块的增加和pseudolabel的生成机制。pseudolabel和增强标签都在歧视学习时尚最小化预测损失和实施以及动态的正则化方法。共享网络参数在生成和歧视学习阶段有一个闭环配置。,生成的网络参数学习阶段传递到歧视学习阶段而歧视学习阶段的网络参数反馈到生成学习阶段应对即将到来的数据流,换句话说,有识别力的阶段功能细化生成学习阶段用地面实况资料。 In addition to the generative phase, the structural learning phase takes place in the discriminative phase to overcome the real concept drift and utilizes the same probability density function根据生成的训练阶段。表1提供了一个列表中使用的符号。

3.1。参数学习ParsNet + +

ParsNet + +的参数学习方法是由以下损失函数: 在哪里代表重建损失解决生殖阶段通过卷积去噪autoencoder (CDAE),表示最初有标签样本的预测损失数量远低于批量大小,和和标签的预测损失增强标签和pseudolabel,分别。最后一项是autoregularization术语。pseudolabel self-labelling机制引发的是未标记的样本而增强品牌是由注射小扰动原标签样本而不改变它的标签。尽管如此,self-labelling机制可能并不能反映地面真理和嘈杂的标签影响模型的泛化。autoregularization在这里扮演了一个角色在避免这种情况,防止重要参数远离其最优参数的结果最初标签样本。也就是说,和 ,分别表示当前网络参数和最优参数引起的地面真理是重要的指标参数。原来的标签,标签,增强和pseudolabel混合使autoregularization无缝执行(17]。此外,结构发生在学习阶段和因为增强标签并不能反映真实的数据分布破坏漂移的适应机制和pseudolabel风险嘈杂的标签误导偏差和方差的估计。方程(1)形成为一个无约束最优化问题允许交替通过随机梯度下降优化策略(SGD)方法。尽管pseudolabels可能吵,pseudolabel生成机制仍然扮演着重要的角色来提高模型的泛化,因为它丰富了标签表示;即。,one might consider extreme label scarcity here. Moreover, the autoregularization is implemented to address the issue of noisy pseudolabels. The generative and discriminative phases are carried out alternately here. Note that the infinite delay case only relies on the augmented label and the pseudolabel.

3.1.1。一代增强标签

标签标签稀缺的问题解决的浓缩策略包括增强标签的生成。结果从最初注入小高斯噪声标记样本没有改变他们的标签也被称为一致性正则化技术。,小零均值高斯随机噪声是用来产生损坏的最初版本的标签样本,即,(17]。自增强标签是来自真正的类标签,它不受autoregularization方法。此外,只有增强标签和pseudolabel利用无限延迟问题而不是保留原始标签过程中运行。换句话说,访问原始标签在热身阶段没有进行到下一个数据流。

3.1.2。代Pseudolabel

标签浓缩机制涉及到代pseudolabel self-labelling阶段产生的未标记的样本。self-labelling机制依赖于网络预测以及ACM预测如果他们返回高信心如下: 在哪里 是两个预定义的阈值设置为高于 。ACM的输出按输出计算后验概率(20.] 在哪里表示先验概率 , 代表类的后验概率 ,和标签的似然函数 。 代表的基数集群而表示的基数类的集群。此外,网络和ACM预测规范化 在哪里 表示最高的,第二高的输出。这个特质支撑类不变式特征类似于二元分类问题。作为一个结果, 表明信心水平低和困惑的预测。这种情况意味着预测决策边界附近产出下降。pseudolabel传播到模型的更新只有在ACM的预测输出和网络是令人愉快的。尽管pseudolabel噪声产生机制风险pseudolabel,它仍然是集成在ParsNet + +学习机制因为autoregularization的存在确保只清洁pseudolabels才能学到。另一方面, 控制较高的值导致的self-labelling机制pseudolabels而降低值的减少导致pseudolabels的增加。

3.1.3。Autoregularization方法

开发autoregularization应对嘈杂的pseudolabel导致错误的积累。它阻止了一个模型来忘记学习原始标签产生的最适条件。具体地说,它可以防止重要参数从移动太远从他们之前的位置导致性能下降。这种方法最初提议在所谓的突触情报(SI)技术解决持续学习的灾难性的遗忘问题[19]。我们的主要贡献是为semisupervised说明这种方法的学习环境,以防止灾难性的由于噪声pseudolabel遗忘的问题。

仍然接受pseudolabel设置 ,正则化因子, 在哪里代表的重建误差生成阶段只有清洁pseudolabel美联储。也就是说,错pseudolabel分散网络的梯度的方向导致重建误差的增加。z分数应用于规模的重建误差范围 。 确定网络参数的重要性来自于积累网络梯度如下: 在哪里代表整个运动训练过程中,参数表示参数的运动在两个连续的时间步骤 。 是一个预定义的常数,以避免分裂为零。只有当观察更新原来的标签和标签因为autoregularization增强功能补偿吵闹的pseudolabel。因此,表示原来的标签和增强标签数。值得一提的是,网络梯度越高,更重要的是网络参数。参数重要性指标(3)计算网损的积累和网络梯度。

3.2。网络结构ParsNet + +

ParsNet + +是建立在特征提取的卷积去噪autoencoder结构层利用卷积堆放层而完全连接层形成single-hidden-layer网络自组织的财产。它接收从传感器收集原始输入功能 进而将其映射到输出空间 。具体地说,1 d卷积层部署来处理传感器数据。原始样品卷积层执行如下: 在回旋的层参数化是一个过滤器吗表示的过滤器的卷积层时代表特征的地图层产生的过滤器。1 d过滤器 是用在这里。

叠加后卷积层,最后的输出一维卷积层是夷为平地来产生一个输入向量 在哪里表示数量的自然特征提取的特征提取ParsNet + +的一部分。单隐层神经网络功能是通过对数据样本进行分类目标类。ParsNet + +是支撑一个闭环配置之间的生成和歧视学习阶段去噪autoencoder (DAE) [21提取实现健壮的输入特性。DAE利用噪声注入机制避免身份映射问题而功能作为正则化机制。DAE的自然特性和地图到潜在的空间: 在哪里 和 编码器的连接权重和偏见而 和 译码器的连接权重和偏见。表示隐藏节点的数量。请注意,的逆映射和被称为tied-weight约束。是一个部分摧毁了输入向量,使用屏蔽噪音。也就是说,输入向量集的一个子集空白。Relu激活函数 这里使用的乙状结肠激活函数。有识别力的阶段利用softmax函数 产生输出类的后验概率: 在哪里 是将softmax层的连接权值和偏见。ParsNet + +利用共享网络参数之间的生成和歧视的阶段 。两个阶段都是在模型的闭环方式首先在生成阶段训练缺乏地面实况。有识别力的阶段进一步改进类标签的存在。

3.3。增长和修剪隐藏的节点

ParsNet + +的构造演化是由网络意义(NS)方法估计网络偏差和方差的一次通过的学习方式。添加新的隐藏节点如果网络经验高偏压条件而隐藏节点修剪在高方差的情况下触发机制。代表数量的集群使用自动聚类生成机制。值得一提的是,两种机制都在生成和歧视的时装枚举的偏差和方差的预测误差而重建误差是指在生成阶段。我们只呈现结构性学习机制区别的阶段为了简单起见但是可以遵循相同的步骤生成阶段。NS方法可以表示如下:

解决的关键(7)位于预期输出 。ACM应用来评估复杂的概率函数和结果在以下表达式: 在哪里 ,分别表示分别混合系数和集群中心。方程(8)可以单独为每个集群整体预期产出时枚举通过应用混合系数考虑到每个集群的整体估计的贡献。这一步会导致以下表达式: 在哪里 满足统一的分区属性。另一方面,这个词推导出下条件导致 。

隐藏的单位日益增长的条件是制定使用统计过程控制(SPC)方法(22)如下: 在哪里 是网络的经验值和标准偏差偏差 最低网络偏见到吗瞬间的时间。 重置一次(10)满足而 计算所有样本的偏差估计的性质是准确的在考虑所有样本。公式(10)是为了检测高偏压条件导致隐藏单位日益增长的条件。注意,SPC方法本质上函数来检测异常点或一个漂流的概念。然而,最初的SPC方法修改来诱导使用灵活的信心水平 相当于之间的信心程度和 。这意味着隐藏单位成长过程进行的高偏差而受阻的低偏差。

与隐藏单位增长机制,隐藏的单元修剪策略进行使用SPC方法如下:

关键的区别在于这个词导演以避免direct-pruning-after-adding情况。这导致之间的信心水平和 。即隐藏单位经常修剪条件进行高方差的情况下而隐藏单位修剪情况阻止了在低方差的情况下。一次(11修剪),隐藏的单位执行情况如下: 在哪里 表示隐藏节点的统计近似。方程(12)允许多个隐藏节点被丢弃在快速减少复杂性和结果。

3.4。自动聚类机制

ParsNet + +是指导下自主集群机制(ACM)来生成一个复杂的概率密度函数在隐藏节点生长和修剪过程。它不同于原始ParsNet [17地方自治的高斯混合模型(AGMM)。AGMM的瓶颈存在于高输入维数往往是不稳定的。ACM功能开放结构,集群动态添加或丢弃处理概念漂移 并能从头开始其学习过程。组件的成长过程是由测量的兼容性检查空间数据点的距离现有的集群是否在集群的报道。集群的集群修剪技术利用的效用检查集群的活动在其寿命。

假设 是两个数据样本之间的距离;兼容性测试制定: 在哪里 。 代表距离计算的平均值和标准偏差 。与(10)和(11),(13)是正式的统计过程控制(SPC)方法。的使用控制集群的成长过程,经常做这种成长过程如果样本是远程到现有的集群 。这种情况下描绘了一个事实,一个数据样本被发现现有的集群。另一方面,这种情况很难得到满足,如果一个数据样本是毗邻现有集群,即。、低聚类损失 。构造一个新的集群如果(13)是满意的。即集群中心设置为感兴趣的样品 与 在哪里是集群的数量。如果(13)违反,获奖集群调整: 在哪里表示集群的基数。注意,适应过程只有获胜的集群,以避免局部集群重叠的情况下和同事感兴趣的数据样本获得集群。也就是说,这里增加集群的基数。方程(14)确保集群的集群的收敛因子的基数。

集群修剪过程实现防止集群的爆炸问题由于异常值的问题。也就是说,离群值是错误地插入集群的(13)。它检查集群的意义是否在其寿命中起着重要作用。集群可以修剪,而不失去泛化如果扮演小在它们的寿命。检查集群的贡献从集群的平均活动如下: 在哪里 措施的空间距离数据示例集群的兴趣的潜在空间表示一个集群的时期,因为它是补充道。此外,联合方差是假定在计算在哪里 。集群修剪机制执行如下:

集群修剪机制允许将多个集群立刻丢弃导致快速减少复杂性和遵循half-sigma规则。此外,集群的数量也被用作一个因素在网络发展阶段(10),因为集群机制探讨了真实的数据分布。为实现注意,监控阶段应用。即集群不是删除监测期间发展它的形状。另一方面,混合系数, ,形成的相对基数如下: 它功能分区的财产和统一考虑的距离信息和集群支持。集群网络应具备高影响的偏差和方差估计相邻的兴趣和高人口的数据样本。

4所示。注塑工艺

eScentz,如图1,是一个由SIMTech scent-emitting USB设备。它用作实验的产品模型(电子邮件保护)注塑过程用于生产黑盒,白色筒夹,一个透明的部分用于包含墨盒的气味。注塑机(Arburg全能球员470)如图2。

重点是透明的部分,因为它是至关重要的设备的功能;即。,defects in the part can lead to leaking of the liquid scent. There are a number of different types of possible defects but the most common ones are flow lines which is a mark or line formed when two melt flow fronts meet during the filling of the injection mold and short shot where the mold is partially filled with plastic melt [23]。大部分的例子和不同类型的缺陷图所示3。

5。数值研究

本节演示了利用ParsNet + +在评估质量的透明注塑模具制造的机器。ParsNet + +两个模拟环境模拟:随机存取的地面真理和无限推迟访问的真理。前分别描述了一个情况数据批处理包含部分标签数据点与未知类分布而后者一个描绘了一个semisupervised访问问题,地面真理只有在初始阶段留下未标记的其余部分。50%的标签样本的随机访问设置为默认设置地面真理。地面真理的无限推迟访问仅利用第一个数据批处理。此外,这两个场景中模拟预测当前批以及未来的批处理。当前批处理监控当前的预测质量的透明的模具基于传感器数据 。预测未来的批处理依赖于当前数据批处理预测未来产品质量 。每个学习模块研究的贡献在消融研究部分标签比例的影响。我们的数值研究遵循prequential test-then-train程序,数据流挖掘的标准评估协议。此外,t以及提出统计验证了数值结果。

5.1。基线

ParsNet + +的数值结果与最近发表的文献中算法:(我)在线深度学习(光延迟线)(24)是一个在线学习算法构造下香草神经网络结构。它利用套期保值知道存在一个直接连接的隐层到输出层。(2)神经网络和动态发展能力(NADINE)(18)采用灵活的网络结构下的多层感知器(MLP)体系结构。,隐藏层和节点动态增长和减少对数据流的变化。(3)吝啬的网络(ParsNet)(17)被认为是前任ParsNet + +。ParsNet + + ParsNet的区分本身的特征提取层制作在卷积框架;1 d CNN集成处理原始输入功能。此外,ParsNet + + ACM的支撑,而不是AGMM进行密度估计。(iv)SCARGC(25)设计的无限延迟问题,认为在这一领域作为一个先进的算法。它利用pool-based原则。

因为这些算法不是用来处理视觉数据高维度,他们的预测只有遵循感官数据 。图像数据的使用显著减少其性能特征提取层的缺失。此外,比较还对两种流行的深度学习算法,ResNet18(26),VGG11(27),只使用RGB图像的图像数据发生的大小 。他们不利用一维的传感器数据由于没有CNN。所有的算法除了ParsNet和SCARGC充分监督算法。ResNet的简单结构和采用VGG因为低数据大小导致过度拟合的问题。所有算法都执行相同的计算平台通过使用他们的代码和运行在相同模拟协议发布ParsNet + +,以确保公平的比较。数值结果从5个连续运行的平均值。

5.2。网络结构和Hyperparameters

ParsNet + +利用1 d CNN作为特征提取器来预测模具质量在生后1 d CNN看起来感觉数据。提取特征从CNN连接成一个长向量和美联储完全连接层,适用single-hidden-layer神经网络的性质。1 d CNN是由3卷积层支撑1 d过滤器。输入和输出通道的数量在三层,分别设置为 , ,和注塑的数据集。传递模塑法数据集,两层1 d CNN被应用为特征提取器,输入和输出通道和 ,分别。

的hyperparameters ParsNet + +是固定在我们的模拟场景 和 而选择学习速率和动量系数为0.01和0.95的随机梯度下降优化器(SGD)。Hyperparameters报告的其他算法选择那些在他们的原始文件。我们选择100批大小的算法。表2报告的hyperparameters合并算法。注塑数据,初始化批量和时代E,所示算法15和10在零星的访问实验和无限延迟实验1和15。数据集传递模塑法、年代和时代是1对零星的访问和无限延迟实验也表明ParsNet + +单通道的方式运行。

5.3。数值结果

表3当前批报告我们的数值结果预测的设置下零星的访问的真理。很明显,ParsNet + +优于ParsNet显著差距。这一发现显然鼓励1 d CNN ParsNet + +自动提取深自然特性和概率密度函数估计的ACM技术。此外,ParsNet + +胜NADINE,光延迟线发生与大幅完全监督算法。注意,ParsNet,光延迟线,NADINE指导下传感器数据与ParsNet + +。ParsNet + +与ResNet18相比,VGG11利用图像数据和受欢迎的深度学习的方法。虽然这两种方法是离线算法离线训练的时尚和充分监督,ParsNet + +表现出优越的性能。即ParsNet + +超过VGG11和ResNet18明显不同。这个结果与统计检验确认表4之间的性能差距ParsNet + +对所有算法是统计学意义。

表5展览我们的综合数值结果的下一批预测。相同的发现当前批预测是发现这里ParsNet + +节拍ParsNet与显著的性能差距。这方面既利用特征提取模块ParsNet + +产生深刻的自然特性而ACM接近真正的概率分布比AGMM ParsNet。推而广之,ParsNet + +优于完全监督算法,NADINE光延迟线,使用比ParsNet + +更有利的条件。NADINE、光延迟线和ParsNet相当于ParsNet + +原始传感器数据利用作为输入特性但遭受缺乏特征提取层。我们的计算结果统计与统计测试表进行验证6在ParsNet + +的性能统计比其竞争对手。

领域的无限推迟访问的真理,与几乎ParsNet + +提供卓越的性能改善从ParsNet和SCARGC。ParsNet + +的精度对当前批量预测和的下一批预测而同行提供下面的准确性 。这种机制证实ParsNet + +的泛化能力在处理各种semisupervised学习情况。这些数值研究的结果发表在表6和7。注意,真正的类标签只提供无限的首批延迟情况更具有挑战性的条件比零星的访问情况。这方面得到了证实,所有算法的数值结果恶化。图4可视化的预测质量ParsNet + +精密,回忆,和F₁数据也显示同样的趋势。这个观察表明这一事实ParsNeT + +同样处理所有目标类。并给出了详细的数值计算结果表8。此外,这个数字还描述了动态特性的ParsNet + +隐藏节点是动态添加和动态调整。也观察到ParsNet + +及时响应性能下降由于概念漂移。即,新节点注入网络的性能被破坏的概念漂移。

5.4。烧蚀研究

烧蚀研究的影响进行验证每个学习模块ParsNet + +。ParsNet + +配置分为三个变化:(A) ParsNet + +设置只有参数学习场景使用随机梯度下降法和没有其他学习模块。增加的标签机制,动态调整机制,和结构学习机制是无效的;(B) ParsNet标签+ +装备的富集机理和结构的动态调整机制,但缺乏学习方法;(C)的结构学习机制ParsNet + +打开但没有pseudolabel生成步骤和动态调整机制。我们的数值结果在未来生产批预测,所有这些都在地面实况的零星的访问与执行标签样本。表9展示我们的数值结果。

可以看出表现最差的结果来自于模型(A),所有机制。标签浓缩机制和动态调整机制通过几乎提高性能据模型(B)。这一事实清楚地显示这些学习策略的优势在应对品牌的匮乏的问题。显著的性能改进是使用结构学习机制获得的明确确认的优势一个动态结构的静态结构模型(C)所示。本例中描绘了漂移处理机制的重要性在处理数据流的问题。注意模型(C)排除了pseudolabel产生机制和动态正则化方法。适用于数值结果进一步增加当结合结构,浓缩的标签机制,动态调整机制,以ParsNet + +配置。这种配置使标签的问题同时克服稀缺性和概念漂移。

5.5。标签的比例

本节介绍的学习表现ParsNet + +比例在不同的标签。即ParsNet + +的性能评估下7个标签比例: 。仿真协议遵循地面实况的零星的访问这两个评价指标,准确性和F₁,被应用。表10报告的平均数值结果在五个独立运行。

我们的数值结果表明,ParsNet + +的性能受到损害,只有标签的样本。标签的增加比例提高其学习性能后,这一趋势不会持续下去标签的比例。表现最好的结果是通过标签样本而性能的恶化是观察到的和标签样品比标签样本。这一发现表明,增加标签样本不能确保性能的改善。的性能恶化和标签的结果示例冗余的问题由于一致性正规化一步注入小扰动的原始样品没有改变他们的标签。一致性正则化方法可能导致过度拟合的问题如果标签样本的比例很高。也就是说,它产生无法区分样品稍微影响模型的泛化。请注意, 情况下比的情况。

5.6。工业转移成型工艺

工业转移成型过程描绘了一个过程封装的半导体行业发生阶段,一批集成电路(ICs)打包在一个情况下避免腐蚀和物理伤害15]。这个阶段的质量监测步骤中发挥着关键作用,因为它可能导致沉重的惩罚如果有缺陷的产品发送给客户。封装过程中利用一个工业转移成型机,非常类似于使用的注塑机,形成电子组件的支持。即传递模塑法是一个过程,进入模具铸造材料(15]。

每个生产在很多尺寸都有1到424条,每一条包含一定数量的产品。产品质量检查后才完整的已完成。这个问题的目标是满足实时预测的产品质量而仍在生产。使用人工智能(AI)是迫切需要,因为它使冗余等检查,保证了产品的完整性。我们收集生产数据超过六个月的时期。这个问题是制定二元分类问题,只有患有类不平衡问题数据包含的缺陷,其余部分则正常类的。这个问题在于独特的属性标签多对一的关系,多个实例分配一个标签。即产品质量不确定从单个产品质量,而很多。如果发生了很多有48个缺陷,很多是扔掉还是这种情况下描述缺陷情况。

我们的数值研究遵循prequential test-then-train协议注塑问题,领先一步预测模拟。也就是说,模型被用来预测未来很多基于当前机器的质量参数和流程变量。地面实况的零星的访问和地面实况模拟无限推迟访问这里。成型过程的重要参数包括空腔压力、冲压速度、内存位置,模具温度。这个问题是一个高维问题与608年输入功能。表11和12报告我们的数值结果的零星的访问和无限延迟情况。相比ParsNet和SCARGC ParsNet + +。因为这个问题遭受标签多对一的关系,许多数据样本与一个类标签,执行一个简单的意思操作的特征提取策略ParsNet SCARGC。注意,这种情况下不适用ParsNet + +,因为1 dcnn使自动功能的使用工程,数据点的每批/带使用一维扫描过滤器。

很明显从表11ParsNet + +和ParsNet展览比较零星的上下文中访问协议性能。这一发现是只支持类不平衡的事实数据样本属于积极的类。相反,ParsNet + +优于SCARGC和ParsNet无限延迟的情况如表所示12。这个观察具体化ParsNet + + semisupervised学习的泛化能力在应对不同的场景。注意,无限延迟问题比零星的访问更有挑战性的问题,因为真正的类标签只有在热身阶段提供。这个问题会导致性能下降的ParsNet和SCARGC自动功能工程步骤是缺席;即。,features are extracted by applying the mean operation. Nonetheless, we acknowledge that the class imbalance problem still deserves in-depth future study. It is seen from the lowF₁分数的合并算法。

5.7。敏感性分析

本节旨在研究hyperparameters的影响ParsNet + +的性能。具体来说,的影响 分析,而不包括其他参数。其他hyperparameters动量系数、学习速率等都设置为相同的值合并算法。此外,它们SGD默认参数的方法,从文献理解的影响。只不过是一个小的常数,以避免分裂为零。敏感性分析是由不同 和 。表13报告所有组合的数值结果。 需要设置高于0.55;因此,选择0.6和0.8 ,分别。注意,我们不适用特定hyper-parameter选择我们的主要实验。也就是说,只有简单的手工调整应用设置参数。我们的灵敏度分析是在零星的情况下进行访问的下一批预测下的地面实况标签的比例。

从表13的变化 不会导致显著的性能恶化。也就是说,之间的区别最坏的和最好的结果 。值得强调的是, 应设置高于0.55,因为它反映了困惑的预测。这方面应该缩小hyperparameters的选择,例如, 不合理的值。这种情况下会导致性能变化小于 。另一方面, 管理pseudolabel一代网络的预测和pseudolabel ACM用于生成。的情况下 产生最坏的结果,因为它产生太多的嘈杂pseudolabels。的增加提高了预测,因为它降低了ACM的预测的不确定性。注意,ACM的预测依赖于类的后验概率它不再代表类分布在极端的情况下标签的稀缺性。

6。结论

semisupervised质量分类数据流环境中包括其深度学习解决方案称为吝啬的网络+ + (ParsNet + +)提出了。ParsNet + +功能开放结构自动生成和修剪其动态隐藏节点从而解决概念漂移的部分称为数据流。参数学习策略制定的联合优化问题重建损失,预测损失的原始标签,标签,增强的预测损失和pseudolabel预测损失。此外,正则化策略提出了解决噪声pseudolabel问题防止重要参数摄动的嘈杂的pseudolabels。ParsNet + +扩展ParsNet特征提取层启用自动功能的集成工程机制。1 d CNN执行自动功能集成工程步骤和处理标签多对一的关系,结合灵活的ACM密度估计方法。综合实验与注塑机和工业转移成型机进行了实验验证ParsNet + +的优势。ParsNet + +测试在两个semisupervised学习场景:无限推迟访问的真理和随机存取的地面实况比较突出的算法对当前批量质量监控和未来批量质量监控。ParsNet + +比它的对手明显的边缘和提供类似的全面监督学习算法的准确性。中有几个重要的问题未被探索ParsNet + +。 The issue of class imbalance still deserves an in-depth study where this issue requires a specific strategy in order to reduce false positive rates of ParsNet++’s prediction. This aspect is seen in ParsNet++’s results of the industrial transfer molding problem where theF₁得分很低。另一个未知的领域在于可转让性的问题不同的机器上。它的解决方案,可以使用单个模型在不同传输机器相同类型或不同类型的资本支出。

数据可用性

本文的代码和数据中可以找到https://github.com/ContinualAL/ParsNetPlus。

的利益冲突

作者宣称没有利益冲突。

作者的贡献

翁胖子和Mahardhika Pratama这项研究同样起到了推波助澜的作用。

确认

这个项目由国家研究基金会财务支持,新加坡共和国,在IAFPP AME域(合同编号。A19C1A0018)。