文摘
由于大数据技术的快速扩张,时间序列数据正在上升。这些时间序列数据包括大量的隐藏信息,和采矿和评估隐藏信息是非常重要的在金融、医疗保健和交通。时间序列数据的预测是一个数据科学分析应用程序,然而目前时间序列数据预测模型并不能完全占了时间序列数据的特点。传统的机器学习算法提取数据特征通过人为设计的规则,而深度学习学习数据通过多种处理层的抽象表示。这不仅节省了手工提取特征的一步,但也大大提高了模型的泛化性能。因此,本工作利用大数据技术来收集相应的时间序列数据,然后使用深度学习研究时间序列数据预测的问题。这项工作提出了一种时间序列数据预测分析网络(TSDPANet)。首先,这项工作提高了传统《盗梦空间》模块,提出了一种特征提取模块适用于二维时间序列数据。在二维卷积,这解决了时间序列的低效率。第二,功能注意方法对时间序列特性的概念提出了研究。 The model focuses the neural network’s data on the effectiveness of several measures. The feature attention module is used to assign different weights to different features according to their importance, which can effectively enhance and weaken the features. Third, this work conducts multi-faceted experiments on the proposed method.
1。介绍
物联网和5 g技术的进步,社会已经开始进入相互感知和互联的时代大数据的应用程序。传感器放在对象可以实时收集信息。这个信息是时间序列数据,用于监控对象的状态和预测其未来状态。时间序列数据是有序数据的集合获得相同的实体在不同的时代。例如,一个电子商务公司的月度销售总额,PM2.5的日常变化在一个城市,和每小时的交通流在一个特定的道路。人们普遍发现在各个领域,如工业、医疗和金融。通常,时间序列数据含有丰富的信息,挖掘和分析这些信息可以帮助人们理解现象和预测未来。在医学领域,医学专家使用的连续测量病人的心电图分类患者可能的疾病。在股票市场,时间序列数据组成的每日收盘价的历史股票分析来预测未来的股票价格。在网络安全领域,可以检测网络异常分析网络流量数据。 In supply chain management, sales data for various products are forecasted and categorized. This makes it possible to plan the production and storage of the product in advance, avoiding the backlog of product that leads to additional costs. In addition, by categorical comparison with historical product sales data, a more rational plan for the production and sales of new products can be made. In industrial production, to improve the quality and safety of production, it is significant to monitor and collect data on complex equipment systems in real time. These data record the historical dynamic information of the system, can reflect the operation of the equipment, and play a very good role in improving management efficiency and rapid fault classification and diagnosis [1- - - - - -5]。
深度学习现在是人工智能的一个热门研究领域,由于其消化能力数据通过构造一个系统与人类的大脑。特别是深度学习模型,通过无数的隐藏层过程数据并将其映射到一个高级特征空间。这可以提取更抽象的高级数据表示特性或特征,然后调查数据的特征表示的隐含信息。此外,由于深度学习高级特性表征通过直接输入数据计算。这并不需要很多努力做特性工程和节省时间和精力相比,传统的机器学习的过程。深度学习可以学习抽象的特征表示数据隐含的信息和可以有效地模型变量序列之间的相关性和长期的数据依赖关系。这可以更好地理解和表达的隐含信息数据,提高了准确性。时间序列数据的分析主要包括时间序列预测和时间序列的分类6- - - - - -10]。
时间序列预测发现时间序列数据的发展趋势,通过分析历史时间序列数据。这可以预测下一时刻的可能值或一段时间后。传统的时间序列预测方法只执行线性加权预测基于历史值。这个很难模型序列数据的非线性,导致预测精度较低。传统的机器学习方法预测未来值通过构建时间序列特性。虽然具有优良的非线性建模能力,它不考虑序列数据的时间依赖性和变量之间的相关性,因此很难实现高精度预测。深度学习不仅有优秀的非线性建模技能,但是复发性神经网络及其衍生品也可以有效地模型长期序列依赖性。self-attention机制捕捉有效序列数据之间的相关性,这是提高预测精度的关键。时间序列分类检查特征、形状和其他属性的整个时间序列之前给它分配一个离散的名字。传统的时间序列分类方法识别和从序列中提取相关信息。 When different patterns appear in sequences, redesign is time-consuming and labor-intensive. In addition, when the model cannot effectively extract different patterns of the sequence due to the preset rule method, the classification accuracy of the sequence will be seriously reduced, resulting in large errors in subsequent tasks. Deep learning can mine the feature representation of the implicit information of the data, which not only saves the complex feature engineering steps. At the same time, the classification accuracy and generalization ability of the model are greatly improved [11- - - - - -15]。
2。相关工作
的作者文献[16)提出一个多步预测方法迭代地创建一个模型通过最小化样本内残差的平方和领先一步。当达到预测长度时,美联储预计值回相同的模型来预测下一组数据点。一个非线性多步学习整体技术进步提出了长期风速时间序列的预测在文献[17]。的Ensem LSTM方法是由LSTM的合奏,SVRM, EO,学习时间序列特性使用LSTM集群不同的隐藏层和神经元。LSTM网络预测的结果然后聚合为一个非线性回归SVRM组成的顶层,学习和顶层使用光电参数优化算法。文献[18)提出了多步MARNN交通流量预测。对待RNNs作为模拟动态特性的动态网络交通时间序列递归策略和认为multioutput策略减少积累误差,增加步长。文献[19)提出了一个成功的预测极其动荡和不规则的金融时间序列数据,如股票市场指数,是通过使用一个新的适用递归神经模糊推理系统。当应用于动态金融时间序列数据,该方法优化模型的参数和mdh技术,允许更精确的预测比可以用传统的神经模糊系统。有一个简单明了的多级时间序列预测方法提出了文献[20.]。通过使用历史观察,他们构建了一套预测模型为每个地平线,然后试图减少与这些相关的平方多步导程误差预测。该方法不依赖于领先一步的平方不准确,和有一些直接多步预测方法。一个方法涉及到决策树,提出了梯度增加了树木,和随机森林在文献[21]。加权最小二乘法用于获得整体的重量,和直接策略用于多级风速的时间序列预测。在文献[22),multioutput深LSTM多步时间提前预测神经网络模型。辍学的方法,L2 regularisation mini-batch梯度下降都是模型组件。这消除了误差积累和传播问题中常见的多步向前预测深层网络训练期间引起的过度拟合。文献[23)提出了一个模型与self-encoding-decoder结构时间序列的多步提前预测。模型的基本结构是由CNN和LSTM组成的。这种使用卷积网络学习变量之间的相关性和LSTM网络学习顺序时间序列特性。文献[24)提出了一个数据扩充模型基于C-GAN改善预测性能。方法首先使用条件生成对抗网络学习发电机模型。模型是用于生成新的训练数据,并将其集成到最初的训练数据,从而提高训练集的多样性。
神经网络模型的预测精度估计每小时负荷值用于文献[25之前相比)是更大的模型。历史时间序列数据的直接饲料用于训练神经网络。创建一个CNN-based卷积神经网络模型在文献中处理能耗时间序列预测问题在工业生产过程中(26]。通过定制卷积核的方向,该模型能够提取输入时间序列变量之间的相关特性和时间特性相同的变量。实验结果表明,该模型优于卷积神经网络使用一个单向内核的泛化能力,预测精度和鲁棒性。为了定期作出准确的预测多变量时间序列,文献[的作者27创建了一个名为多个CNN的模型。使用多个cnn做周期性时间序列的分析,提取距离和长和短信息的预测变量,然后结合这些特点这三个部分的生产预测。引用文献[28),提出了一种融合模型使用CNN和LSTM立即预测电力需求。实验结果表明,该模型优于独立CNN或LSTM预测精度和鲁棒性。使用时间序列网络模型长期和短期依赖模式序列数据提出了文献[29日]。它采用卷积神经网络和递归神经网络模型中程依赖序列,它创建了一个新颖的递归结构捕获非常远程依赖序列数据。在多变量时间序列预测,提出了文献[30.),CNN被用来提取定常特性从一个时间序列,然后RNN用于时间序列预测通过合并多个时间序列的卷积特性。两级RNNs注意力被用来提供一个模型在文献[31日]。通常关注的方法是使用在解码器的输入阶段,在独特的上下文向量生成随机间隔。注意力机制的公司的编码器的输入阶段,两阶段注意力模型允许选择的特征因素和历史长期时间的关系。文献[32)描述了一个独特的焦点策略多元时间序列预测。把隐藏的状态输出在任何给定的时间,作者首先RNN适用于原始的多元时间序列。隐藏的状态变量的特征提取使用几个卷积核,然后注意机制是用来瞄准某些变量的最终预测。
3所示。该方法
首先,这项工作提高了传统《盗梦空间》模块,提出了一种特征提取模块适用于二维时间序列数据。这克服了低效率的二维时间序列卷积。其次,本文提出的概念特性关注时间序列特性的机制。神经网络的模型将数据集中在不同指标的有效性。注意模块的功能是用来分配不同的权重根据其重要性不同的特性,可以有效地加强和削弱的特性。
3.1。CNN算法
本地连接、加权节点池操作和多层体系结构都是CNN网络的特点。因此,CNN网络能更好地提取本地特性,由于其本地连接。因为池操作的目标是最小化数据的维数,权重的共享的额外的好处是大大减少网络参数的数量。因此,CNN网络也能以非线性的方式表示时间序列数据。卷积内核连接前隐藏层的局部区域的神经元卷积层。卷积核是由权重矩阵。当进行卷积过程中,卷积核的滑动窗口穿过每个部分的输入矩阵。这是乘以面积的匹配元素和聚合后抛来提取特征。通常,许多卷积核是成立于卷积层,和不同的卷积核通过网络获得不同的重量训练,允许从输入检索不同的特征。改善非线性表示,卷积操作的结果通常是输入的非线性激活函数获得特征映射。 Therefore, multiple convolution kernels perform feature extraction on the previous hidden layer, and a series of feature maps can be obtained. The combination of multiple convolutional layers enables the CNN network to gradually extract more complex features.
池层的神经元也连接到前面的隐层的当地和地区的统计值获得使用特定的数学过程。这个实现降维在执行二次特征提取,并使网络能够获得某种不变性特性变化的输入样本。
常见的池方法包括最大池,池,和随机池。最大池通过最大化来实现将采样的本地连接池内核。意味着池实现将采样的平均池内核连接的本地区域。随机池决定了概率矩阵根据当地的元素值,并根据随机选择输出概率矩阵。
卷积后,功能将通过激活功能层,用于非线性变化特性映射由卷积。ReLU函数通常被用作激活函数。激活的目标函数,在这种情况下是相同的,这是完全连接网络:提高网络的非线性操作。ReLU函数通常是选择,因为它具有操作简单和容易的特点融合在训练。
在正向传播过程中,CNN将随机选择样本数据作为输入进入网络,和样品将进入网络反过来获得网络的输出。应该注意,最重要的网络参数是随机初始化,和网络参数的初始值将是随机分布在一个很小的数值范围。因为一个初始值会影响网络训练,如果每个网络的参数都是一样的,训练不会发生。当这个向前传播的结果被收购,CNN将使用随机梯度下降过程来更新网络的参数。最小化目标函数的概念是该方法的核心。损失函数决定网络的预测是正确的标签。由于损失函数是随机梯度下降法的目标函数优化技术在训练,选择正确的人是非常重要的。反向传播网络将更新权重根据当前的损失函数通过算法完成一轮网络培训。
3.2。LSTM算法
LSTM是RNN的改进模型。作为一个RNN的改进模型,主要用于解决问题,如梯度消失。LSTMs,另一方面,引入新的细胞状态到RNN因此长期存储。一门控制单元的内部结构,用于增加或减少的影响不同的州在目前的单位和进一步处理之前的时间点的信息传播。LSTM单元的结构显示在图1。
忘记门决定哪些信息应该被丢弃,哪些应该保持细胞单元状态。它使用了s形的函数来处理模型的输入目前和输出前一刻的向量[0,1]。这个向量的值代表的信息量在细胞中是保留还是删除状态。
输入盖茨主要负责有选择地记录新信息到细胞状态。它由两个完全连接层,第一层决定输入信息保留,和第二层将生成新的候选细胞状态基于输入数据。两层一起构成一个输入门控制输入当前时刻的多少将保留最终的细胞状态。
输出门负责控制哪些信息在当前电池状态可以输入的隐层输出层。它决定了输出的一部分通过乙状结肠层细胞状态。然后通过双曲正切层,最后执行点积操作在两个输出。
LSTM网络都是单向的。即使添加多层递归神经网络,内部操作过程还只是在一个时间序列。正向和反向双保障执行序列数据的获取信息,提高序列数据预测的准确性。BiLSTM应运而生。它由LSTM向前和向后LSTM在水平方向。当输入,BiLSTM将执行预处理和后根次序计算同时,和两个共同决定通过规则的输出。每单位BiLSTM由两个LSTM细胞单元计算的向前和向后的方向,与单个LSTM单元和横向比较可以反映出当前时刻的影响和对当前细胞单元的后续状态。
3.3。TSDPANet时间序列数据的预测
TSDPANet模型旨在解决预测精度下降,因为网络面临的复杂性的特性在多个输入功能。在这工作,用于特征选择注意机制,赋予更高的权重特性更重要的预测结果和降低无关变量的权重。此外,该模型是利用输入层后,而特征权重计算。这个网络输出不同的权重分配迭代更新后每个特性。TSDPANet复合模型建立工作根据他们的功能分为三个部分:特征提取模块,功能模块注意,时间序列预测模块。TSDPANet展示在图的结构2。
这项工作提出了一种快速特征提取模块转换2 d功能照片3 d功能。研究集成大量的输入变量进入模型,和相同类型的指标被相邻一旦数据被处理。这奠定了基础使用卷积层从附近的特性提取共同的特征。修改后的《盗梦空间》本文特征提取模块将用于插入到输入层和层的关注。这可以实现独立提取相关特征在两个不同的输入变量和时间系列的方向。初始V1模块进一步提取了局部的位置信息通过计算相邻像素之间的数据。与图像信息,只有相关时间序列数据在同一时间或在相同的指标。因此,普通矩阵并不能很好的提取相邻位置的特点。甚至无效的信息添加到原始信息由于无关信息的参与,从而减少了预测精度。这个模块扩展成三维二维信息。 Different from one-dimensional convolution, the two-dimensional convolution module will only properly blur the original feature matrix, but it will not regenerate the content of the feature direction like the former. Therefore, adding this feature extraction mechanism before the feature attention module will not cause the latter to fail in the feature direction.
必须修改初始结构在这工作由于时间序列数据之间的不匹配和图像样本。优化《盗梦空间》的具体结构如图3,确保原始信息不受破坏,允许每个索引变量之间的信息的有效提取。
最初,注意力机制分配不同的权重,每一层都基于不同的通道方向特征图像由卷积。给予更大的权重功能层,含有更多的有效信息,SENET达到有效的特征提取和分类精度更好。CBAM模块不仅继承了SENET模型的优势通道方向的关注,同时也建立了特征映射的注意机制的方向。
特性的注意机制本文采用CBAM频道关注模块的模块,由两个encoder-decoder结构。地图的特性是受全球最大池和全球平均池,分别获得两个不同的权重向量的长度是通道的数量。然后,多层感知器是用来减少和增加维度在特定比率,并激活乙状结肠函数共同实现非线性变化的重量。两个向量是线性增加和乘以原地图三维特性,和最终的输出是一个功能映射添加到索引的注意体重。它首先使用的转置的信息交换层特征提取模块和交换功能维度与频道维度。然后,在时间和空间平面上卷积层位于全球最大池和平均池进行,两个向量创建基于指标的顺序。排序后重塑层到一个一维向量,通过降维的FC层,和下一个FC层用于提高维向量与原数量的维度。获得的重量与原特征向量是dot-multiplied地图,和交换层用于交易特征的维数和尺寸的通道回到原来的位置。应该注意的是,两个向量需要共享权重通过FC层时的非线性变换,以确保一致性。
这项工作选择BiLSTM插入复合模型作为最后一个模块。这个模块接收attention-weighted特性图,计算它,并将其传递到完全连接层进行处理和输出最终的预测值。时间序列预测模块的具体结构显示在图4。
两个Bi-LSTM层神经元的数量是64,用于接收特性信息,计算出时间序列在正面和负面的方向实现的目的分析时间序列相似的背景。辍学层随机删除每个神经元的BiLSTM一定概率,以便BiLSTM层中的每个神经元参与计算,减少过度拟合的风险。平层减少了BiLSTM层的输出为使用一维计算的未来完全连接层。平层利用而不是BiLSTM输出只有最后一层一层自本文认为完全联系应该有更多的选择。每个时间点的重要信息是通过迭代更新,提高预测精度。最后两个FC层进一步提取时间序列的输出信息来获得最优解。
4所示。实验
4.1。TSDPANet实验训练
这项工作首先分析TSDPANet的训练过程,这个过程是重要的和必要的。分析的目标是训练的损失。其变化过程是显示在图5。
时代增加培训时,培训TSDPANet损失也逐渐减少。当训练水平达到约120时代,该参数的值不再明显变化。这表明TSDPANet已达到收敛。
4.2。方法比较
验证时间序列数据预测TSDPANet的优越性,本文比较了三种方法RNN的LSTM, BiLSTM TSDPANet。RMSE指标相比,美,比较表中演示了数据1。
与其他时间序列数据的预测方法相比,TSDPANet达到最低RMSE和梅。这个验证的可行性和优越性TSDPANet应用到时间序列数据预测并验证本文方法设计的正确性。
4.3。实验特征提取模块
TSDPANet利用改进的《盗梦空间》模块为特征提取模块。来验证这种改善的优越性,这项工作时的性能比较使用传统的《盗梦空间》模块和改进的初始模块。从实验获得的数据比较图6。
TSDPANet可以完成一定程度的下降和RMSE美指标后采用升级标准相比,《盗梦空间》《盗梦空间》模块模块。这个比较数据验证改进初始模块的正确性。
4.4。实验CBAM
TSDPANet利用CBAM模块作为关注模块。验证CBAM的优越性,这项工作比较性能在使用CBAM和不使用CBAM。从实验获得的数据比较图7。
与不使用CBAM模块相比,使用CBAM模块后,TSDPANet可以实现一定程度的下降和RMSE美指标。这个比较数据验证使用CBAM模块的正确性。
4.5。实验时间序列预测模块
TSDPANet主要使用BiLSTM随着时间序列数据处理模块的功能。验证时间序列数据预测BiLSTM的优越性,这项工作比较TSDPANet当使用LSTM和BiLSTM的性能。从表中列出的实验获得的数据2。
TSDPANet可以实现一定程度的减少和RMSE美指标后采用BiLSTM模块相比,标准LSTM模块。这个比较数据验证BiLSTM模块的正确性。
5。结论
我们现在接近人工智能的时代,这是由增加的连接和更大的共同理解能力的突破大数据和互联网的东西。当前的实物和系统网络互联性承诺提供大量时间序列数据。决策者可以直接和协助总决策通过彻底的科学考试的时间序列数据。因此,时间序列分析问题引起了越来越多的学者的兴趣。然而,大多数时间序列分析问题需要定制的功能通过传统的机器学习。随着计算能力的增加,深度学习在各种语境下的发现越来越多的成功。因为深度学习可以学习高级特性表征数据的隐式信息从始至终,它可以代替艰苦的手工流程工程特性和提取。因此,本文将使用深度学习方法科学分析时间序列数据。本文使用大数据技术来收集相应的时间序列数据,然后使用深度学习研究时间序列数据预测的问题。这项工作提出了一种时间序列数据预测分析网络。 To begin, this work improves on the classic Inception module and presents a feature extraction module appropriate for 2D time series data. In 2D convolution, this solves the inefficiency of time series. Second, the notion of the feature attention method for time series features is proposed in this study. The model focuses the neural network’s data on the effectiveness of several measures. The feature attention module is used to assign different weights to different features according to their importance, which can effectively enhance and weaken the features. Third, this work conducts multi-faceted experiments on the proposed method.
数据可用性
在当前的研究中使用的数据集是可以从作者以合理的要求。
的利益冲突
作者宣称没有利益冲突。