文摘

最近,工业遗产资源的开发和利用,利用大数据逐渐吸引了注意力。提出了一种实时可视化优化管理模拟工业遗产的云平台,实现高可靠性和多元化的工业大数据的存储和利用云数据分布式存储子系统。格勒乌大数据预测模型的神经网络构造基于火花的分布式框架实现工业基因数据的预测。最后,可视化技术可以为工业生产提供支持信息显示直观的有效信息。通过仿真验证模型的有效性和可靠性。

1。介绍

中国的工业发展水平已经达到了一个新阶段由于逐步改善和今天快速发展的社会和经济系统(1]。为了更好地适应现代社会的工业发展环境,必须做好工业遗产的信息分析,这也是现代工业企业发展的一个重要研究课题(2,3]。工业遗产的保护和管理数据具有重要意义,为企业更好地分析工业发展历史和工业发展的演化过程4]。因此,根据现有的大数据信息技术应用,有必要做好管理和集成的工业遗产资源,提供有效的工业历史发展内容为现代工业企业的发展,使现代工业发展符合社会制度的发展。的基本要求是对引导工业发展具有重要意义[5]。特别是,在大数据时代,人们处理信息的工作负载增加(6]。因此,为了有效地保存信息处理的时间,提高信息处理的效率,越来越多的领域开始使用视觉处理数据的方法,重点是在一些大型的信息的综合处理7]。大数据时代的到来对于信息处理既是一个机会也是一个挑战。因此,相关人员应加强可视化技术的发展提供技术支持实际数据处理(8]。

目前,国内外许多学者进行了一定的研究和探索工业大数据的应用程序的技术工具。文献[9)解决当前形势的使用大数据在世界上工业企业,阐述和总结了当前工业大数据的使用需求和困难需要克服,并指出其应用研究的主要方向。本文阐述了工业的重要性大数据的发展智能制造,以及工业大数据在这个领域的发展现状,并提出当前缺乏工业数据标准、数据安全问题,和未来发展的建议。文献[10]研究大数据技术的应用现状在工业生产车间和总结大数据技术在这一领域的重要性。文献[11]分析了当前使用大数据技术在工矿企业从各个方面分析了大数据在这个领域所面临的挑战和未来的发展方向。近年来,随着LSTM的代表算法,时间序列数据预测和分析方法基于深层神经网络模型积累了一定的研究成果。ARIMA(自回归综合移动平均模型)时间序列模型和其他神经网络算法用于我和分析的一种时间序列数据(12]。然而,ARIMA方法数据条件有严格的要求,需要满足目标数据的稳定性和无法处理中的非线性信息数据在某种程度上。在文献中,该算法相结合的CNN(挥发性神经网络)和RNN(复发性神经网络)是用于击键时间数据转换成击键向量,从而完成个人的学习击键向量序列数据(13,14]。在文献[15),一种改进的基于时间序列分解RNN模型反向传播算法,和一个RNN建立基于时间序列分解预测模型,使预测的准确性(16]。虽然RNN算法有一定的记忆能力对过去的输入时间,它不能解决梯度消失或梯度爆炸的问题17]。LSTM神经网络算法用于预测公交时间从起点到目标位置(18]。基于RNN的预测模型提出的获取信息,可以实现高精度预测信息(19]。虽然LSTM算法克服了RNN梯度和梯度爆炸消失的问题,其结构太复杂,模型参数太多,所以培训时间是翻了一倍。尤其是在面对大规模数据集的分析和处理需求,这种方法很难满足实际计算速度的要求(20.,21]。

因此,为了解决实际应用问题的工业大数据技术和数据挖掘算法的性能问题,本文构造了一个小型的私有云平台,它是建立在当前主流Hadoop分布式计算平台。同时,解决云平台的算法性能问题分析,它使用格勒乌(封闭的复发性单元)递归神经网络结合火花分布式计算引擎实现工业时间序列的预测和分析大数据,显示和有效信息的数据可视化方法。仿真显示可视化平台的有效性。

2。工业遗产的云平台的结构和设计

工业遗产大数据云平台构建在本文中是一个智能监控和分析大数据云平台集成实时监控和智能预测分析。大型工业背景下的数据采集和效率高22),对解决这些问题具有重要意义的传统工业数据采集和高效的数据采集具有参考意义。

2.1。云平台的架构设计

根据数据分析的顺序,大数据技术体系分为三个层次:数据集成,数据处理,和知识可视化、数据处理过程如图1。

大数据的数据处理过程工业云平台构建本文大致可以分为数据收集阶段,数据持久性阶段,数据信息处理到最终视觉决策管理。首先,在数据采集阶段,来自多个数据源的数据被收集到工业大数据平台构建本文和数据存储在不同的存储模式根据不同数据的特点和实际需要。然后,在数据分析阶段,通过相关数据分析工具组件,数据分析和挖掘,进一步将结果存储。前一步的分析结果是最后最后决定管理的可视化。

数据处理过程的基础上,结合整体需求,云平台的总体架构设计从服务的角度要求在每一个阶段。的整体水平服务云平台如图2。其工业基因云平台包括数据层、数据集成和存储层,计算层、数据服务层和应用程序层。

工业遗产的服务云平台如图所示2,其工作可以描述如下:传感器设备监控数据传输到数据处理平台通过HTTP、TCP、MQTT,和其他传输方法并将其存储在MySQL后分析,支持实时查询。大量的历史数据使用蜂巢存储仓库提供大规模数据支持系统的数据挖掘和分析。为了提高系统的查询和分析速度,查询引擎基于内存计算中使用历史数据的统计查询和数据挖掘分析。在应用程序层,大数据平台的输出层用于图表显示。建立一个web服务器平台提供一个可视化界面数据显示和分析。数据处理终端设备包括实时监控、查询统计分析、数据挖掘分析和数据可视化服务。

云数据分布式分析子系统构建本文具有以下优点:(1)算法的效率:基于格勒乌阈值递归神经网络的预测算法有更少的参数和更好的稳定性,这是非常适合工业时间序列数据的预测。(2)高可用性:格勒乌阈值递归神经网络构造的基础上引发核心引擎。它充分利用火花的基于内存的计算特征在多台计算机上并行计算的算法仍有高可用性环境中大量的数据。(3)高可伸缩性:云的底层数据分布式分析子系统是基于一个火花分布式计算框架。换句话说,数据分析子系统与其他组件可以集成的Hadoop生态系统,确保了高可伸缩性的云平台在未来的应用程序开发。(4)支持云计算平台的其他算法在未来:数据分析算法而言,云数据分布式分析子系统本身的设计是基于一个火花的分布式计算平台,这使得它适用于火花。同时,子系统支持其他类型的数据挖掘算法的发展和应用

2.2。结构设计的工业遗产基于Hadoop云平台

工业遗产的云平台的结构如图3。该平台由一个主节点和子节点的一组任务。的平台,主节点负责任务调度平台管理和每个节点负责执行任务,任务完成后,数据处理结果反馈到主节点,和主要节点向用户呈现结果并完成序列化操作。

首先,考虑到工业的高可靠性和高可伸缩性大数据云平台,云数据分布式分析子系统也设计成一个独立的中间件云平台提供数据分析服务。其次,云计算数据分布式分析子系统提供了模型训练和数据预测和分析功能的工业大数据云平台作为一个整体。因此,数据分析子系统提供了两种核心功能:模型训练和云保留模型库。最后,从工业大数据云平台的整体性能,当面对大量的数据分析场景计算和负责任的计算,传统的单机计算模式并不能满足实际生产的需求。因此,这部分在火花平台上构建数据分析子系统和火花为核心计算引擎。这个设计可以充分利用火花并行计算的特点和基于内存的计算优势提高数据分析的效率。

3所示。研究基于格勒乌网络大数据挖掘算法

3.1。数据挖掘模型基于格勒乌

在短期工业数据预测,历史负荷系列是最重要的输入。它包含丰富的信息来预测未来负荷需求和能代表的潜在法律负荷需求。当传统的机器学习方法和单款用于处理历史负荷数据,需要手动从原始数据选择相关特性,如前一小时的负荷值和负载价值的同时。根据相关的特性选择将摧毁潜在的内部关系在历史负荷系列和影响预测结果的准确性,该特征选择方法也增加了预测的难度。格勒乌神经网络可以有效地避免这个问题。其内部控制循环结构可以自动学习历史负荷数据的相关特性没有手工提取,使预测方法更简单,更易于实现,而且还可以提高预测精度。除了历史负荷系列,短期负荷预测也受到天气的影响,节日,日期,和其他因素。内部潜在的这些特性规律不明显,所以他们不适合格勒乌神经网络的输入。款可以有效地处理这些外部因素和学习这些特点和负荷需求之间的关系,以提高预测精度。

格勒乌预测模型的结构如图4。历史数据输入矩阵模型输入的T1格勒乌网络和矩阵TN是格勒乌网络的输出。描述每一层的输入矩阵模型组成的其他功能如下。

模型主要分为三层。第一层是数据处理层,主要实现数据规范化和可规范化数据时间序列数据;第二层主要和少量的数据提取功能,减少预测误差;第三层主要使用预测模型基于格勒乌单元发送的数据和特征提取数据层,可以实现数据的预测。格勒乌单位是该模型的核心部分,设计和详细信息如下。(1)预处理历史输入数据并选择输入功能。根据历史数据的特点,选择外部因素有更大的影响和其他特性。历史负荷数据的长度和外部特征米,需要相互对应。此外,为了方便训练,需要规范化的真实价值数据和代码符号数据。(2)格勒乌由训练样本集,模型训练和网络参数优化和更新预测模型。输入数据样本的时间输入到训练模型预测得到负荷预测在每次的值。神经元的输出在格勒乌网络计算如下: 在哪里和这是隐层输出的时间吗和 ; , ,和表示更新的输出门,重设门,中子在时间 ;和 , , , , ,和代表的重量参数我们在培训过程中学习。

3.2。评价指标模型

在培训过程中,模型参数进行了优化利用亚当(自适应运动估计)21优化算法。亚当是一个一阶优化算法,可以取代传统的随机梯度下降过程。在培训的过程中,重量和偏差的每个神经元节点网络模型迭代更新来减少损失的产出价值函数最优值。的损失函数模型使用均方误差函数: 在哪里和代表了预测发动机扭矩在样本时间和实际发动机扭矩 ,分别的长度吗时间步长,样品的总数量时间用于火车或验证。Ω的解空间 。

3.3。并行分布式格勒乌预测模型基于火花

为了加快模型的训练,火花分布式并行计算框架是用于模型的训练。采用“分而治之”的想法。训练数据分布到集群指定数量的工人节点通过火花并行计算框架。每个工人节点执行自己的根据实际任务的逻辑。在模型训练任务,司机减少,平均每个节点的权重参数通过设置参数和重新分配重量的平均频率结果模型的每个节点,直到预定的培训目标。图5显示模型并行化的工作流程培训。

制定了详细的流程如下。通过Sparkccmtext火花应用与火花集群通信驱动程序。星火计划申请所需的资源通过Sparkccmtext从集群资源管理器。集群资源管理器分配资源和每个正在运行的节点上创建一个励磁机。Sprkcontext分发的程序代码和相应的数据训练模型运行的节点,和每个工作节点分配当前分配模型训练任务并行。最后,每个节点收集到的结果驱动程序实现并行模型的训练。

4所示。仿真结果和分析

4.1。云平台的仿真环境

这一部分主要介绍了数据服务器和Hadoop集群服务器节点环境。相关的环境和数据服务器和集群服务器节点的配置信息如表所示1。我们所有的模拟是并行执行的云平台有一个gtx公司- 1080 - ti卡CUDA9.0和cudnnv7下。此外,Sqoop组件可以实现传统的关系数据库的数据之间的相互转换,HDFS, HBase和其他数据,以确保有效和安全的数据在不同系统的导入和导出。的Spring-Boot OpcUa数据采集服务器实现远程的实时数据采集和监控管理设备在工厂。Abp核心服务器云平台可视化管理的基础。

4.2。格勒乌评价模型的验证

模拟以一组为例,主要为著名的海外服装品牌公司提供OEM服务。出口收入已经占据首位的针织服装企业多年,还维护多年出口到日本的第一位置。

计划生产能力、计划能力指数、服务能力指数,交货及时率、订单满足率和平均交付期的主要指标是评估一个公司。我们使用工业遗产评估和数据可视化。为了比较算法的优点,我们选择比较SVM(支持向量机算法)。对比结果如图6。

从图可以看出6、外部客户和内部管理部门可以提供报告直观和清晰的统一接口,以找出能力指标的变化。系统还将依赖间隔预警信息进行自动预警提示,满足预测的统计数据支持调度,监控合同下的生产能力。此外,我们可以使用基于格勒乌网络预测模型准确地预测企业的运行状态,并与实际生产数据一致。与基于svm算法相比,我们的算法具有更高的预测精度。详细的预测结果如图所示7。

从结果可以看出,工业遗产的云计算平台模型提出了具有更好的预测效果;它可以更准确地捕捉数据的法律变化,可以预测数据的趋势变化快,可以提高预测精度,具有较高的精度与SVM预测算法相比。

此外,工业遗产的云平台还需要评估可能的风险在实际生产过程中。本文主要展示了工业遗产的风险预警功能的云平台,和结果如图所示8。

风险预警是材料和计划冲突,面料供应中断,缺乏规划信息,异常的预期,生产进度滞后,其他五个方面的早期预警。根据合同数量,系统可以导入生产计划和执行数据按合同数,计算所有未完成的订单的执行进度实时实现的自动预警交货日期延迟,和评估现有的约束下的延迟交货日期。如图,我们的工业遗产云平台可以提供实时预警和可视化生产过程中可能出现的问题,企业决策者可以调整自己的生产计划。此外,我们预测模型的精度远高于基于支持向量机,从而达到良好的预测性能。

4.3。基于云平台的生产数据可视化

产品对应不同的订单的流程并不完全相同,相同和不同产品所需的操作过程也不同,所以决定和安排生产平衡是复杂的。同时,订单的波动也是显而易见的。订单波动频繁,由于季节的影响,时尚潮流,价格,紧急情况和其他因素。此外,该公司的OEM业务也受到波动。不同的订单来自不同企业有不同的顺序放置时间和交货时间,产品类型和数量的每日和每周的生产计划也不同。考虑面向订单满足率的生产平衡调整,需要综合考虑的因素更加复杂,这是一个典型的混合装载平衡不确定环境下的决策问题。

从图可以看出,生产数据是混乱的在处理之前,复杂而无序,如图9(一个)。我们需要进行特征提取和可视化通过云平台,并可视化结果如图9 (b)。通过充分挖掘工业遗产的云平台,生产数据的相关性开始显示。生产是一个复杂的高维数据和多维数据,把数据和多维属性变量。它广泛存在于应用程序基于传统关系数据库和数据仓库。高维多元数据分析的目的是探讨高维多元数据项的分布规律和模式,揭示不同维之间的隐含关系属性。(图的可视化结果9 (b)),我们可以看到,生产数据主要包括五个方面(计划生产能力、计划能力指数、服务能力指数,交货及时率、订单满足率和平均交货期);我们可以找出哪些什么时候主导力量起着主导作用,然后根据实际变化处理它。仿真结果表明,我们的工业遗产大数据平台具有良好的数据挖掘能力。

5。结论

为了解决实际应用问题的上述工业大数据技术和数据挖掘算法的性能问题,本文构造了一个小型的私有云平台,它是建立在当前主流Hadoop分布式计算平台。同时,解决云平台的算法性能问题分析,它使用封闭的复发性单元递归神经网络结合火花分布式计算引擎实现工业时间序列的预测和分析大数据,显示和有效信息的数据可视化方法。仿真显示可视化平台的有效性与支持向量机算法。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称他们没有利益冲突或人际关系可能出现影响工作报告。