文摘
设备质量相关数据包含有价值的信息。数据挖掘技术似乎是一种有效的方法,从大量数据中提取知识。摘要设备质量信息挖掘的一种通用方法,提出了基于关联规则的复杂设备。由于经典关联规则挖掘算法的缺点,如长时间运行的时间和内存消耗高,候选项集生成过程优化和改进先验的算法。5实验数据集对象,算法的性能测试使用时间复杂性和空间复杂性作为评估标准。比较实验表明,改进算法的优势。进一步实现数据处理和信息表示,依赖于强大的关联规则提取算法。以某种类型的设备为例,进行了仿真实验使用本文方法在可靠性测试数据集,和一些有趣的知识是通过挖掘,验证该方法的有效性。本文的研究似乎有希望对提高科学水平的设备支持。
1。介绍
设备质量信息的信息相关的设备质量的发展阶段,使用和维护。大数据的应用和信息技术的发展极大地提高了质量相关数据在整个生命周期的设备。我的大量的数据具有重要意义;提取信息,反映了设备的质量要求,状态变化,以及相关因素及其关系;和服务使用、维护和设备的研究。
关联规则最初是用来解决问题的购物篮分析,发现客户的购买习惯的目的。多年来,许多专家和学者进行了广泛的研究,包括理论探索、应用和推广的关联规则挖掘,挖掘算法的优化和改进。关联规则在科学研究上发挥了重要作用,沟通和安全、金融、零售、医疗保健等行业(1- - - - - -5]。在本文中,将使用关联规则开采设备质量信息。
关联规则挖掘的经典算法包括先验的算法(6)和FP-growth算法(7]。经过几十年的发展,各种解决方案策略关联规则挖掘问题层出不穷。例如,meta-heuristic-based方法包括蚁群优化、人工神经网络、微分进化,遗传算法,粒子群优化(8- - - - - -12]。以微分进化为例,阿尔泰和Alatas提出混合优化和全局搜索方法基于微分进化和正弦余弦算法,可以自动调整适当的数值区间值属性和我没有发现频繁项集,从而实现数值关联规则的挖掘。这种方法具有较强的适应能力和高自动化水平。进化优化方法,一种新的进化计算的表示方案基于混沌的数字也提出并应用于定量关联规则挖掘(13]。
因为简单的想法和较低的实现难度,古典先验的算法仍然是一个持久的关联规则挖掘算法,广泛应用于各个领域。然而,经过长期深入研究,专家和学者们发现先天算法的缺点:(1)有很多多余的步骤,和手术期间生成的候选项目集可能太大。(2)它有更多的扫描数据库和大的I / O负载。当巨大的数据量,上述问题将导致算法的效率明显降低。许多人一直在努力提高挖掘算法,主要包括以下方面:(1)改进基于先验的算法本身:Arcos和埃尔南德斯表示古典先天的约束算法的计算成本和实现改善通过最小化算法生成降低成本通过提高事务的方法(14]。王、郑分析传统的先验的算法的工作原理,指出了存在的问题。他们提出了一种改进的先验的时间序列的频繁项集算法和应用这种改进时间序列推测的频繁项集挖掘关联规则算法基于时间约束(15]。Chiclana等人提出了一种新的基于动物迁徙优化挖掘算法,大大减少了计算时间频繁项目集生成内存关联规则生成,生成的规则数量(16]。这样的改进是为了减少扫描的数量,从而提高效率(2)改善存储模式:3月和Oo使用链表和哈希表,使得先验的算法需要的处理时间和内存空间减少(17]。为了优化连接步骤中,修剪步骤,支持计算步骤,和事务存储模式的先验的算法,太阳和李应用prefixed-itemset和压缩矩阵(18]。徐改进的挖掘性能先验的算法通过引入动态存储空间(19](3)改善针对特定行业数据挖掘算法:一些特定于行业的数据,如医疗大数据,有明显的行业数据的特点和属性。使用这些特性可以提高医疗数据的挖掘算法。Sornalakshmi等人提出了一种改进的先验的算法名称增强型并行和分布式先天(EPDA)医疗行业,工作的时间和数量的规则生成的医疗和不同的最低支持的数据库(20.]。医学研究的大数据,他等人的先验的算法优化Amazon Web服务和图形处理单元,并提高了数据挖掘的速度(21](4)改进基于平台和编程模型:由于沉重的I / O负载传统的先验的算法和存储资源有限的问题,一些学者研究了使用Hadoop MapReduce平台和模型实现并行计算,以提高原来的方法(22,23]。火花是MapReduce编程框架的扩展。在处理大规模数据集和数据迭代,其性能优于MapReduce。辛格等人提出MapReduce-based频繁项目集挖掘算法在Hadoop集群和调查的各种数据结构的效率Spark-based先验的算法(24](5)综合使用各种改进方法:你们提高先验的算法,提出了一个基于压缩方法结合itemset技术和散列技术。改进后的算法应用在图书馆个性化服务(25]。元不仅优化先天算法本身,也改变了数据映射模式,有效地提高手术效率(26]
针对经典问题的先验的算法,本文将改进算法本身。先验的算法提出了优化候选项集生成策略。改进采矿方法用于搜索频繁项集,然后,用户所需的强关联规则提取。
2。方法
在关联规则理论中,数据库中信息的不可分割的最小单位称为项目,这是代表的象征 。物品的集合叫做项目集,表示为 。 被称为 - - - - - -项目集,等于项目包含在项目集的数量。事务是指物品的集合包含在一个进程中,这是代表的象征 。 代表一组事务。如果是所有项目的集合,每个事务的项目集吗包含所有的子集 。事务包含一定数量的项目集在所有事务被称为项目集的支持数,也就是说,项目集的出现频率。
2.1。频繁项集挖掘算法
关联规则的含义是,当一些物品出现在相同的事务,其他项目也出现,通常表达的形式 。这两个和项集,他们都是真正的子集 , 。关联规则的支持是包含的事务数的比率和交易的总数,表达 , 。关联规则的信心是包含的事务数的比率X和Y包含的事务数X,这是表达的 。计算方法如下:
事实上,支持相当于发生概率中包含的项目和在所有事务,信心的概率等于条件下发生发生。
最低支持指定的最小关联规则必须满足的重要性,和最小信心指定关联规则必须满足的最低可靠性。它们是两个阈值设定的用户的要求。在这篇文章中,他们所表达的和 。一项集将被视为不少于频繁项集如果其支持 。一个关联规则将被视为强关联规则,如果不小于其支持不小于和信心 。
不可否认,关联规则是欺骗性的,这反映在一些强大的关联规则的意义这一事实可能不符合客观事实。为了防止这种情况,介绍了提升程度之间的相关性度量项集,这是表达的 。计算方法如下:
意味着和是呈正相关。在这个时候,统治 正常应该解释。 意味着和是负相关的。在这个时候,统治 通常无法解释,因为事实是,当物品看来,项目不会出现。 意味着和是相互独立的,没有关联,所以这条规则是没有意义的。
关联规则挖掘中有两个步骤:第一步是找出所有频繁项集,第二步是基于频繁项集产生强关联规则。在第一步中,常用的算法是先验的算法,生成候选项目集与大量的物品从一个频繁项集数量较小的项目,然后过滤掉满足最小支持度的项集,并得到频繁项集。先验的算法需要大量的连接和剪枝步骤的过程中运行。连接所有频繁项集 - - - - - -项集结合成对产生联盟将获得一个候选人 - - - - - -itemset。修剪是删除不频繁项集的候选项集。为了防止的计算量大大增加,由于大规模的候选集,古典的修剪方法推测的算法压缩候选设置根据先天属性,然后根据最低过滤剩下的项集的支持。
古典先验的算法仍然存在一些缺陷:(1)连接操作采用组合方法。虽然它能确保每个项目集不会重复与相同的项集,最终的候选项目集可能还有多余的物品,所以需要必要的比较和重复数据删除操作,这些步骤将浪费大量的时间。(2)项集生成的连接是否符合条件,它将被添加到候选集,然后根据先天属性选择。额外的运行时间在此期间不能被忽视。经典算法将变得更加致命的缺点与数据集的大小的增加,导致算法的效率显著降低。
为了解决上面的问题,经典的先验的算法改进。该算法提出了继续使用一些经典算法的思想,采用一个新的策略来生成候选项集。在使用频繁 - - - - - -项集生成候选 - - - - - -项集,添加一个筛选步骤,以确保项目集参与连接步骤符合下列条件:(1)中包含的项目两项集是相同的除了最后一个。(2)采取任何 - - - - - -2项目从同一项目中包含两项集,并结合他们的最后一项两项集来产生 - - - - - -项目集, - - - - - -itemset应该包含在频繁 - - - - - -itemset。如果不符合上述条件的项集相连,至少下列情形之一发生:(1)生成的新项目集一模一样前面生成的项目集;也就是说,生成冗余项。(2)商品的数量在生成新的itemset大于 ,这是超出了当前候选项目集的范围。(3)生成的新的项目集不满足先天属性。不管的情况发生,需要添加额外的操作来消除其影响。本文提出的改进算法生成的项集可以确保连接候选项集和减少不必要的连接,比较,重复数据删除,修剪步骤。
本文提出的改进算法的步骤如下。
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
2.2。依赖于强大的关联规则提取算法
挖掘所有频繁项集从数据库根据用户设定的最低支持是关联规则挖掘的主要工作,也是在这个领域研究内容的关键。强关联规则的产生基于频繁项集挖掘数据背后的隐藏信息的过程和表达它的形式,更容易被理解后大量的数据分析和处理。它是应用关联规则理论的关键环节从数据中获取信息。目前,强关联规则的提取受到相对较少的关注。大多数研究人员更加关注频繁项集的挖掘,并没有介绍如何实现强劲的后续提取关联规则。
一个依赖于强大的关联规则提取算法。主要内容包括:(1)块矩阵处理频繁项集与不同的项数,分别;(2)搜索的itemset postrules一层一层地。这个想法是增量式施工方法,实现方法是函数的递归调用;和(3)计算参数和屏幕规则,然后,输出信息。
算法步骤如下。
|
||||||||||||||||||||||||||||||||||||||||||
函数的主要步骤在上面的算法如下。
|
||||||||||||||||||||
2.3。参数的算法
根据基本原理,经典算法和改进算法的参数包括支持,最小支持,信心,最低的信心,提升学位。在实际应用中,扫描结果的支持是数量的值。为了避免重复转换,最小支持度计数是用来替换参数设置的最低支持(支持可以被认为是支持的比例数到事务)的总数。因此,用户需要设置的参数的最小支持数和最小的信心;支持、信心和取消学位是输出参数。此外,如果用户只需要提取部分关联规则,取消学位的设置阈值还可以补充说,也有一定的过滤效果。
2.4。算法复杂性分析
进一步从理论上分析了两种算法的复杂性。不同的是在这个过程中产生的候选人 - - - - - -使用频繁项集 - - - - - -项集。时间复杂度而言,生成的副本经典算法相比,在连接过程中需要确定一个接一个,所需的计算和比较 在哪里代表频繁的长度 - - - - - -项集。不符合条件的冗余项需要修剪,和计算的数量 在哪里代表候选人的长度 - - - - - -项集修剪。添加公式(3)和公式(4)的数量计算所需的经典算法在生成的候选人 - - - - - -项集:
本文提出的改进算法,假设项目包含在数据集的总数 ,和的最大数量计算所需的过滤过程
的最大数量计算所需的验证过程
添加公式(6)和公式(7)的数量计算所需的改进算法在生成的候选人 - - - - - -项集:
显然,经典算法的计算时间主要取决于每个项目集的长度在运行过程中,通常可以达到几倍数量的物品,而改进算法的计算时间依赖于条目的数量的候选项集和物品的总数中包含的数据集,所以改进算法的时间复杂度较低。随着数据集的大小的增加,经典算法的计算量显著增加,而改进算法的计算量是在一个相对可控的范围内,有更好的时间特征。
经典算法空间复杂度而言,使用组合方法来直接连接。候选项集生成的长度 ,在哪里代表频繁的长度 - - - - - -itemset。因为候选项目集包含大量的重复和冗余项,将占用更多的内存空间。生成的候选项目集的长度改进算法在最坏的情况下 ,在哪里总项数是包含在数据集。改进算法产生候选项集没有冗余,因此当数据集较大,其长度将大大低于候选项集生成的经典算法,可以大大降低了存储空间占领。
3所示。实验结果和分析
3.1。比较分析的算法
为了测试改进算法的挖掘能力和运行效率,经典的先验的算法和本文提出的算法在本节通过实验比较和分析。改进算法遵循经典算法的部分想法。开始的项集最小项目编号,并找出符合要求的对象,然后用一个更大的项目产生更多的项集数量在此基础上,等等,直到新的项集不能被生成。因此,两个算法的起始搜索点是相同的,所有的项集1项数据集和他们的支持。为了保证尽可能公平的比较,在相同条件下进行实验,模拟执行相同的情况下,使实验结果只是影响算法的性能。实验平台是PC(英特尔酷睿i5 - 8265 u, 1.60 GHz CPU, RAM 8 GB),和所有的算法是2016年由MATLAB实现。几种设备的数据记录在测试,涉及的参数、状态和环境条件相关的设备。根据预设数量的测试,包括在每个测试项目数量,部分数据从这些历史数据提取,形成五个大小不同的实验数据集。的基本信息中使用的数据集实验如表所示1。
在实际的设备质量信息挖掘的过程,有一个相对较高的要求挖掘算法的复杂性和存储资源的负载。选择运行时间作为评价指标的算法复杂度,并使用生成候选项集的数量来衡量记忆占领。比较实验分为两个部分:一个是比较两种算法的时间消耗在相同的条件下,另一个是比较生成候选项集的数量时,两种算法在相同的情况下工作。运行算法在MATLAB环境下,对5次重复实验在每种情况下,测量值的平均值。
3.1.1。时间消耗的比较
最低支持设置为10%,两种算法用于我的五个数据集,分别;然后,运行时间测量。结果如图所示1。可以看出,这两个算法可以快速我所有频繁项集,当数据规模很小,而运行时间几乎没有区别。原因是减少交易和项目的数量将压缩算法的搜索空间,减少候选集的大小。随着数据规模的不断增加,经典的先验的算法的运行时间大幅增加。原因是该算法包含了一些不必要的操作,比如连接,比较,消除重复,修剪,需要多次扫描数据库。当数据规模的增加,推测的算法的运行时间优化候选项集生成策略增加缓慢,表明算法的性能影响较小的数据量。
选择数据集D5,设置最小支持度为10%,11%,12%,15%,和20%,分别。测量这两个算法的运行时间在相同的数据集,和结果如图所示2。从图可以看出2增加最低的支持,两种算法的运行时间会减少。经典算法显示了戏剧性的变化的原因是,支持阈值的增加将减少频繁项集和候选项集的数量,这将减少很多不必要的操作,在操作的经典算法。改进算法的变化相对温和,因为算法本身没有大量的冗余措施和步骤将更少。
3.1.2。比较生成的候选项目集的数量
设置最低支持10%,两种算法生成的候选项集的数量上运行实验数据集如图53。从图中的结果3为较小的数据集,算法生成的候选项集的数量是没有多少不同的由于较小的搜索空间。候选项集生成的经典算法包含重复的项目和冗余项目。随着数据量的不断增加,无效的项集的比例明显增加。所有的候选项集产生的改进算法是有效的,和增量的候选项集的数量相对比较少。
以数据集D5为例,比较两种算法生成的候选项集的数量通过设置不同的最低支持(5%,8%,10%,12%,15%),如图4。从图可以看出4用最小支持集值的增加,候选项集的数量逐渐减少。作为一个整体,改进算法生成的候选项集的数量小于的经典算法,特别是支持设置阈值低,这主要是因为有效的项集的数量将提高阈值的降低;此外,经典的算法也会产生重复的项目和冗余项目,和这些无效的项集的增长更加明显。
3.1.3。结果与讨论
参数设置和实验结果总结在表2。从两组对比实验的结果,与经典的先验的算法相比,性能优化的候选项目集的先验的算法生成策略进行了极大的增强。本文提出的算法的积极影响主要体现在以下方面:(1)更好的时间特征:在相同的实验条件下,改进算法消耗更少的时间,尤其是在更严格的条件下。在实验中,节省时间的改进算法来完成同样的工作的经典算法可以达到90%(2)更少的资源消耗:改进算法可以显著减少候选项集生成在采矿过程中,使存储空间需求少(3)与实验条件的改变,更好的适应性:经典的算法将发生巨大的变化在时间消耗和内存消耗,而改进算法将影响较小,其性能将会更加稳定(4)一个简单过程:改进算法省略了重复数据删除的链接和修剪,所以算法通常是简化的过程。这些链接需要大量的扫描数据库,所以也被删除大量的具体步骤
虽然本文提出的方法优于传统方法,研究工作仍有一定的局限性。是研究如何提高先验的经典算法本身。算法的思想改变了,但它并不完全偏离原来的算法的基本思想。由于研究条件的限制,优化方法相对比较简单。如果使用其他方法集成或一个更好的平台在此基础上,可以实现更好的结果。的矛盾在改进过程中考虑不够全面,而且可能有优化的空间算法的其他方面,如修剪方法,itemset频率计算,其他进程似乎仍然需要扫描。
3.2。仿真实验与分析
一些设备具有复杂结构的特点,存储时间长,工作时间短,所以它是非常必要的预测它的生命。如果设备目前的有效性和在未来一段时间可以更准确地说,设备使用单位可以进行更换维修及时。它也有助于设备开发部门找到设备的缺陷和改进设计和升级。
对于复杂的设备,很难直接建立整机的退化模型。更可行的方法是采用合适的评估方法对不同级别的设备。为例,采用基于框图的综合评价方法对系统的层次,采用局部电路香料组件级别,建立和退化机制模型组件级别或材料(27- - - - - -29日]。
大量的可靠性测试数据被收集在长期储存和使用某种类型的设备。这些数据可以反映出这种类型的设备的特点自然降解的过程。相比之下,从加速试验获得的数据,可靠性更高和更大的研究价值。在本节中,基于改进的设备质量信息挖掘方法推测的算法将用于实验。
3.2.1之上。数据集
在这个实验中使用的数据是测试后的数据记录在不同批次相同类型的设备在存储。根据不同指标的测量值的设备,它可以分为三种状态:正常、退化,以及失败。退化可分为两种趋势:增加和减少。失败可以分为两种情况:不到标称值的最小阈值,大于标称值的最大阈值。此外,一些储存条件也记录,如存储时间、温度和湿度。发生在每一个测试的项目由“1”和那些不发生由“0。“一些数据如表所示3。
3.2.2。信息挖掘
使用挖掘算法在本文提出的最低支持设置为10%,最低信心被设置为80%,得到所有的频繁项集的数据集。强关联规则生成频繁项集。表4显示了一些挖掘结果。如果用户想进一步从文献中提取关键的规则,他们可以使用postrules或prerules约束关联规则过滤掉,需要关注。例如,某个组件的质量退化postrule可以发现该组件的潜在影响因素。如果是prerule,结果将是其降解的影响的其他部分设备、子系统、性能指标等。
仿真实验的结果表明,红外设备的延迟与舵反向偏转速度密切相关,和退化的红外设备的延迟可能导致的失败舵反向偏转速度。遥控装置的响应测试值很容易退化或失败的扩展存储时间,和远程控制装置是一个薄弱环节。长期储存湿度超过67.5%的情况下很容易导致电容器的性能退化的红外设备,和它的终止电压将显示一个增加的趋势。
从实验结果中,我们可以找到一些索引的退化规律这种类型的设备,以及一些薄弱环节。这些结论可用于下一个设备的可靠性分析。例如,一些薄弱环节可以拆卸的寿命预测,以提高工作效率。压力应适当加速度测试期间加载缩短测试周期。
质量测量方法常用的复杂设备,建立退化机制模型的方法需要大量的现成的可重用组件级模型和物质层面上的模型,和一个相对完整的底层模型库是十分必要的。本地电路香料可以评估组件退化的影响电路的关键参数,也可以分析组件的故障阈值电路的性能。是否转移或分解,它从先验知识是分不开的。实现综合评价方法的前提是,有很多基本的工作提供支持。方法提出了独立于先验知识和直接获得法律背后隐藏的数据,它可以弥补常见方法的缺陷。有用的信息通过挖掘包括那些与传统方法的结果一致,以及一些常用的方法很难获得的知识。
仿真结果表明,该设备质量信息挖掘方法在本文中是有效的。这是一个数据驱动的方法,它是不受限制的特定对象和设备模型。它有更好的普遍性,可以用作通用方法。此法适用于挖掘布尔数据,设备质量相关数据可能包含其他类型的数据,因此它有一定的局限性。继续改进方法来适应其他数据类型或使其有能力处理数据可能是一个未来的研究方向。
4所示。结论
在这篇文章中,一个先验的算法优化候选项集生成策略,起源于提出了关联规则的概念。关联规则挖掘隐藏在大量数据可以有效地获得有用的信息。一个依赖于强大的关联规则提取算法的数据处理和信息表示。将该算法应用于复杂的设备,设备质量信息挖掘方法基于先验的改善算法。
五个实验的数据集,该算法与经典算法进行了测试对时间复杂度和空间复杂度。根据所有的指标,提出了改进算法明显优越。以某种类型的设备为例,进行仿真实验对其可靠性数据集测试的有效性提出了设备质量信息挖掘方法。
本文的研究已经显著提高性能的一个成熟的关联规则挖掘算法,进一步丰富了关联规则挖掘方法基于以前的成就。然而,本文提出的优化方法有局限性,如一个单一的矛盾的方法和不完整的考虑。结合其他方法或平台,以及优化算法的其他方面,似乎从未来论文值得期待。此外,提出了一种通用方法采矿设备质量信息在这篇文章中,扩展了应用程序的关联规则挖掘技术领域的设备支持。将提供更丰富的信息支持的实施设备质量退化特征分析,设备的剩余使用寿命预测,和其他研究工作。由于数据类型适用于该方法的限制,这可能进一步研究的方向努力适应其他数据类型或处理数据的能力。
数据可用性
使用的数据来支持本研究的发现没有提供,因为它是不允许披露。
的利益冲突
作者宣称没有利益冲突有关的出版。
确认
这项工作是由中国国家自然科学基金(批准号61501493)。