文摘
最近,互联网金融市场发展迅速在国内外。同时,它的研究也成为学术界关注的焦点。金融市场有更高的流动性和波动性相比传统的金融市场。鉴于互联网的金融市场动态(体积和每日交易),提出了基于深层神经网络融合水平时间序列预测模型。首先,该模型过程的输入多个系列的特征变量(市场macrodynamic系列和multiseed系列),并使用一个注意力机制融合时间和序列的输入变量在二维特性。第二,模型还设计一个优化函数稳定约束的基础上预测序列,因此该模型具有更好的鲁棒性。最后,通过大量的实验进行真正的大规模数据集,结果充分证明了该模型的有效性和鲁棒性动态预测互联网的金融市场。
1。介绍
财务预测是预测、估计和判断的金融活动过程及其变化趋势。财务预测的本质是一种特殊的财务分析方法,未来不确定性以及有关(1]。整个预测过程是科学分析金融活动的过程。分析过程主要是基于实际数据和以往的经验,使用科学的方法和手段来模拟过去金融发展过程中,获得未来变化趋势的发展过程。先入为主的判断和推论对金融活动的影响,减少未来的不确定性(2]。目前,金融预测在学术界高度重视,金融圈,和人们的日常生活。相关新闻和信息在金融预测股票、期货和汇率可以在网上随处可见,电视(电视)媒体,报纸。但金融活动尤其复杂并受许多不确定因素,因此很难把握未来趋势(3]。关于当前经济形势和市场经济的蓬勃发展,政府必须及时了解国民经济发展的实际情况和金融市场变化,掌握更准确的财务信息。
从1950年代到现在,信息科技和计算机网络发展突飞猛进,大数据越来越丰富。人们用来预测金融市场价格的基础上,经济和金融,但现在,他们使用各种跨学科组合模型来预测金融市场,这使得金融市场预测成为一个独特的金融研究领域4]。本文的研究内容和目的可以描述:使用某些方法最大化金融时间序列包含规则和信息的提取;根据现有的金融时间序列信息反映了强劲的混合预测模型,并利用模型来预测金融时间序列的趋势短期操作,市场投资者的投资决策的参考5]。
金融时间序列的预测过程包括以下步骤:数据准备、算法定义,自我训练和学习,预测评估和优化。数据准备阶段主要是数据采集,数据特征选择,数据去噪,时间序列分割、集群为自主学习提供数据集训练、预测、评估和优化(6]。该算法定义阶段包括确定预测模型和计算方法。自我训练学习阶段包括选择培训学习算法,实现训练学习过程,学习参数和调整训练。预测评价和优化阶段包括定义反馈指标和优化模型根据预测结果(7]。金融时间序列预测过程的基本框架如图1。
最传统的金融时间序列预测算法将目标变量的序列作为主要的研究对象。其中,代表技术包括自回归模型(8),向量自回归模型(9,10]。深度学习技术开发,递归神经网络(RNN)是广泛应用于序列的问题,显示了更好的学习能力比传统的线性模型(11];尤其是在金融市场动态预测问题,深度学习模型具有良好的非线性映射能力和较强的泛化能力,从而能够更好的金融市场模型的变量特征,非线性关联,和时间序列依赖性。各种深层神经网络模型中,长期短期记忆(LSTM)有效地解决了长序列依赖的问题通过引入门结构和留住长期的信息需要被铭记在序列特征12]。此外,借助神经网络的异构数据处理能力强大,一些学者设计融合基于长期和短期神经网络的结构。预测模型是基于复合变量特性(13]。最近的研究发现,注意力机制的介绍(14序列预测问题可以更有效和快速筛选出的信息更多的当前任务的关键,从而进一步提高模型的预测能力。然而,传统的注意机制主要从时间维度设计,无法区分不同的多变量时间序列的影响。
针对互联网的动态序列金融市场(包括每日交易量和每日交易时间),本文设计了一种预测模型基于长期和短期记忆神经网络结构。整体市场的动态宏模型序列集每一次市场的动态序列,结合了两种注意机制的时间维度和序列特征。由于对时间的依赖关系建模特点和输入序列的综合影响,模型是基于序列稳定约束优化函数,模型具有良好的鲁棒性。大规模数据上的实验结果验证了真正的互联网金融平台充分展示本文设计方法的有效性在预测的动态网络金融市场。在本文的第二部分,我们介绍了我们研究课题相关的一些作品。在第三节中,我们解释了神经网络和注意力机制的细节。在第四部分中,提出了预测模型。在第五部分,我们使用真实的数据集进行实验和分析结果来验证工作和我们的方法的有效性。六节,结论的研究。
2。相关工作
在金融场景中,市场信息的变化动态。因此,时间序列分析和预测研究在这一领域的重点。本部分首先介绍了传统的时间序列预测方法,然后介绍了深度学习模型和注意力机制序列相关问题研究,最后讨论了序列预测在金融的最新研究工作场景。
2.1。传统的时间序列预测方法
根据模型的输出结果,传统的经典模型进行分类。预测模型可分为随机序列模型和确定性序列模型。传统的时间序列模型通常需要严格的数学原理。作为模型的支持,它需要受到更严格的限制为了使用外推法原理来预测未来的变化。
确定性模型:在许多实际应用问题,时间序列的变化是通过叠加或耦合的众多因素,如季节变化、趋势因素,周期变化和不规则。为了消除不规则因素对时间序列预测的影响,学者们进行了相关研究。在这样的预测模型,分解方法(15),移动平均法(16),和季节性系数法(16)通常被用来构造时间序列分析模型。
随机模型:领域的学者利用随机理论研究时间序列的统计数据,发现不规则变化时间序列联合行动造成的许多随机因素并不完全混乱但有一定的规律性。受这一现象,基于随机理论的预测模型的设计吸引了许多学者的关注。这样的模型通常是基于以下程序:首先,时间序列数据的分布来确定观察到一些合理的条件,然后用演绎推理来描述时间序列的理论模型。如果理论模型与实际数据的特点,将建立实际模型,然后用于时间序列分析和预测。代表这种模型包括auto-regressive-moving平均(ARMA) [17),自回归综合移动平均(ARIMA) [18),自回归条件异方差性(拱)[19]。
2.2。基于深度学习的时间序列预测方法
深层神经网络可以获得比传统方法更好的表示能力通过高维的非线性变化特性。在时间序列预测中,应用最广泛的深度学习模型是一个循环神经网络(RNN) [11)和长期和短期记忆神经网络(12]。循环神经网络处理时间序列数据的前后依赖通过引入循环机制。RNN的基础上,LSTM引入了一个“门”结构筛选前期信息选择性地忘记不重要的信息,以便解决的难度梯度消失在长序列的问题RNN的依赖,进一步加强远程学习时间序列的信息。
2.3。时间序列预测方法基于注意机制
注意机制是基于深度学习的一种优化方法框架(20.]。目前,注意力机制已经被应用于自然语言处理、计算机视觉、语音识别等领域。因为注意力模型的精度指数有显著增加,许多研究人员一直在探索如何将它应用到场景,需要更多的优化细节。注意模式指的是人类视觉注意力的机制。人类获取信息时,他们会优先考虑他们需要重要的信息或一些信息。
3所示。神经网络和注意力机制
本部分首先介绍了结构和原理长期和短期记忆的神经网络模型,然后分析了注意力机制的设计和施工序列预测时间序列的重要信息的提取。
3.1。LSTM神经网络
基于RNN递归神经网络的经典,LSTM网络可以有选择性地忘记nonimportant信息之前,加强重要信息通过添加一个非线性“门”结构内部网络神经元。因此,LSTM避免了不可避免的梯度消失问题当RNN火车长序列。具体地说,门口LSTM结构定义如下: 在哪里 , , , 和代表输入门的隐藏状态,忘记门,内存模块,输出门,分别和神经元。LSTM忘记门和输入门结构的有效传播梯度通过有选择地保存历史信息,避免了梯度消失的问题造成的长期的序列信息。LSTM解决RNN的问题不能有效学习时间系列的长途信息依赖,所以它被应用于许多时间序列建模问题。LSTM如图的网络结构2。
3.2。注意力机制
注意机制的时机问题主要是基于encoder-decoder深循环网络的过程。分为两个模块的学习模型。第一个是一个编码器由单个或多层RNN,和输入序列输入到编码器根据时间关系,用于学习已知序列的前后依赖关系和当前状态表示。隐藏的状态在最后一刻获得和保留,叫做向量 ,保留了动态信息的输入序列和序列的当前状态。然后,译码器也由神经网络单元具有相似结构,和编码向量转化为时间序列信息,预测长度吗 。每一时刻的输入获得的是向量映射向量与目标价值序列 。时刻的输出值是对应时刻的预测值,其数学表达式是什么
在传统的编解码器的模型中,上下文向量E解码是固定在每一刻,这个建筑没有纳入不同的原则有关的信息在不同的时刻到模型中。研究人员进一步探讨这个问题,将图像识别中的注意力机制引入序列问题。通过结合注意机制与编解码器结构,顺序注意力机制提出了方法,如下: 在哪里代表相结合的过程中注意机制与编码器,的隐式状态译码器的前一步,然后呢的隐式状态设置编码器。有别于传统的编码模式,为每个预测时刻 ,编码器动态上下文向量注重不同的信息,所以,解码过程可以更加关注更重要的历史信息预测内容的当前时间。
4所示。预测模型
上面介绍的基础上,长期和短期记忆的神经网络和注意力机制,本节提出了具体内容集成multitime系列市场动态预测模型的详细摘要。让我们先从模型。然后从三个方面详细介绍了框架:multisequence输入,注意力机制设计和优化功能。
4.1。模型框架
在本节中,注重网络模型基于多个时间序列(MALSTM)设计并实现了通过分析金融市场的动态特性。箭头在图3代表相应的向量在每个模块的输入和输出。结构如LSTM和完整连接层由矩形框标记,和状态矩阵的隐层用圆角矩形表示。具体地说,该模型首先输入模块提出了一种基于多个时间序列,然后设计从两个维度的时间和注意力机制功能。最后,一个优化函数基于稳定性约束预测序列的旨在使预测结果更加健壮。
4.2。Multisequence输入
传统的时间序列预测方法只考虑目标变量时间序列的变化,不考虑其他功能在同一时间序列之间的相互作用。然而,在互联网的动态分析金融市场,其市场动态将影响许多不同的子类的市场动态。因此,本文建模的总体宏观动力学市场和多个市场类别的子序列同时建立多个时间序列输入。 在哪里代表了整体模型的输入 ,和代表的输入数据子类在当前时间序列。例如,代表观察到的交易量平台的时间 。 代表了一个特定类别的交易数量(如技术或健壮的物品)。接下来,该模型使用单层LSTM模型多输入时间序列的动态演化过程。具体来说,对于每一个时间步, 在哪里和 分别代表了市场隐藏当前时刻的状态和内存状态 。因此,动态表示目前可以通过LSTM multisequence。
4.3。注意机制设计
后multisequence LSTM输入建模、动态的状态市场每时每刻的记忆状态multisequence输入可以获得。考虑到金融市场的macrodynamic建模需要重要的信息在连续的时间序列,该模型需要学习信息的关键作用在不同的时间对长期变化的预测。同时,考虑macromarket的构成,该模型应该能够自动我的子类序列对整体影响最大的macroseries预测和进一步加强预测市场动态的能力。因此,本文设计两种注意力机制从时间维度和维度multisequence特性,分别对模型市场动态的重要影响因素。
第一,注意机制构建了基于市场的历史状态的时间维度指的是传统的编解码器模型的设计思想;是隐藏的状态在不同时刻的关注程度是不同的。根据LSTM输入模块的处理过程部分4所示。1,输出矩阵 模型由隐层状态在每一个时刻,和h进一步作为编码器的输出。每一个列向量在矩阵代表市场状态的时刻 ,这是作为输入的注意机制。然后,通过公式(6),当前时刻状态的重要性到预测状态计算如下:
译码器是在一个阶段的隐藏的状态,然后呢在编码器市场地位的时间吗 。 , 和编码器和解码器是隐藏状态的关注机制参数矩阵,和代表了编码器的市场状态t输出当前状态的影响程度预测时间最后通过softmax功能正常化操作,以获得市场状态在每一个历史时刻的加权因子到当前的预测,即注意价值在时间维度。
此外,考虑到macromarket动力学受到多个子类的时序变化的影响,本文提出了另一种注意力机制基于multisequence特征维度。不同的时间维度,multisequence维度关注机制需要考虑的影响历史上每个序列的编码状态完成市场的宏观动力学。通过计算当前序列状态的影响在macromarket动力学根据所有国家中每个序列的编码序列,具体过程如下: 在哪里代表了历史的隐藏状态 - - - - - -子序列,和注意机制的参数矩阵,的权重因数macromarket当前序列的影响。考虑到解码器需要集成时间和特征维度的注意机制同时,线性联合注意体重的方法设计本文获得的总重量因素市场预测的时间从历史序列。
最后,LSTM结合关注因素可以用来形成译码器模型的一部分,以便预测价值在时间可以逐渐获得如下:
当 , 。在哪里 是历史序列的编码输出,macromarket,隐藏的状态代表过去的记忆历史序列的状态。
4.4。优化功能设计
从宏观的,而具体的金融产品,金融市场的动态变化往往是温和由于总需求和总供给之间的相对平衡(21]。因此,macromarket的表示还应该趋向稳定和温和的改变。在这项研究中,提出了一种线性的进化约束的过程的输出的表示模型的macromarket;也就是说,方程的条件分布(10)采用满足macrodynamic线性固定约束模型的编码过程。 在哪里是状态转移矩阵,其价值在模型优化训练,然后呢协方差矩阵。可以看出隐藏状态的macromarket不再是直接由LSTM但进化的最终状态的市场。进化模式如下: 在哪里代表macromarket的隐藏状态,代表最后一次一步历史信息的状态。为了进一步满足macromarket动力学的稳定特性,我们设计一个优化目标基于线性历史隐状态的演化过程,用于限制macromarket满足线性稳定的表示模型的学习过程的特征。具体的优化目标是最小化l,它的数学表达式
模型的最终目的是预测未来市场状态通过学习历史序列信息。因此,准确性是最重要的优化目标。模型选择均方根误差(RMSE),这是目前最常用的时间序列预测,见公式(13)。
为了防止训练过度学习引起的模型,优化目标均衡模型的可调参数的平滑度和准确性。最后的优化函数
具体来说,模型使用RMSPROP算法(22)最初的学习速率为0.0001优化模型参数,直到收敛。本节提出了一种解码时间模型,并设计一个新的注意结构与功能维度开始考虑和不同特点的重要性。然后,该模型从宏观层面进行了分析。具体来说,金融市场的动态变化是限制高总需求和总供给的相对平衡,因为预测过程约束实现驱动针滑线性约束函数。这两个模型的改进是最重要的创新。
5。实验和结果
本节在macrodynamic验证设计的有效性模型预测互联网的金融市场通过构造实验真实的数据集。
5.1。实验数据
本文中的实验数据都是繁荣的平台,这是世界上第二大互联网P2P贷款平台。实验总共收集了1622天的投资记录的银行记录在平台从4月1日,2006年,2011年5月25日。在实验中,所有数据样本分为训练集和测试集按4:1的比例;也就是1297天的事务数据用于模型训练和325天的交易数据被用于测试。具体来说,每天的交易量和交易数量主要是用作实验的研究对象。6(风险从高到低顺序是“人力资源”,“E”“D”“B”和“C”“A”)的动态序列提取项目有不同的风险等级,和macromarket子类序列作为模型的输入,和历史序列和目标序列的每个样本构造根据滑动窗口的方法。
针对不完备和不一致的平台,收集真实的数据,介绍了预处理的训练集和测试集,如下:(1)首先,线性插值方法用于处理数据集值的缺点。采用线性插值,因为缺失值不能简单地删除的时间序列问题,这将导致时间序列指数的骨折;(2)原始时间序列数据的标准化后,不同信用等级的时间序列变量的值有很大区别。系列的影响数值模型训练和预测结果将有很大的干扰,并直接输入到模型中会导致重量偏差的模型实验。因此,数据归一化法用于所有时间序列变量映射到[0,1]区间: 在哪里是原始数据序列的变量,和是原始序列的最大和最小值变量分别,然后呢是数据归一化的值,其值的范围是[0,1]。
5.2。实验设置
在实验中,MALSTM模型和所有比较方法提出了基于Python 3.5和Tensorflow1.2.1实现。在所有模型涉及LSTM结构、神经元的数量设置为200,辍学是0.5,批量大小设置为8。本文的所有方法和程序运行在Linux环境中有两个2.20 gh2 Intel Xeon 2650 e5 V4 CPU和四个特斯拉K80 GPU。
为了比较,验证本文提出的模型的影响,四种方法选择和设计对比实验,如下:(1)华宇电脑是一个古典传统的时间序列预测模型。输入是一个时间序列,它只包括平台的总金额或数量的贷款。(2)注入LSTM模型的单一序列。循环网络模型,LSTM是用于构造编码器和译码器,每个时间步的输入只包括平台的总量或每天的事务总数。(3)LSTM模型multisequence输入(表示LSTM-M),它使用LSTM构造编码器和译码器。指multisequence输入机制,每个时间步的输入不仅包括总量或当前平台的交易总额每天还总金额或交易总额每天的项目有不同的风险水平。每个时间步的输入不仅包括资金的总量或当前的总交易平台每天还钱的总量或全部交易每天的项目有不同的风险水平。(4)Multisequence注意机制模型(MALSTM-T)。LSTM-M模型的基础上,注重机制的时间纬度。(5)Multisequence注意机制模型(MALSTM),即注意力模型提出了基于Multisequence输入。MALSTM只使用RMSE作为优化目标的训练。(6)固定的模型优化目标(MALSTM-L)补充道。线性固定约束提出了添加MALSTM模型优化模型,本文设计和完整的优化函数使用。
5.3。实验结果和分析
摘要总贷款金额和总贷款平台的数量预测和比较。当固定数量的历史是10天,预测。测试从1到10天调整观察不同模型的性能,如表所示1和2。
表1和2分别显示的RMSE和梅值平台的交易总额的预测算法预测四天从1到10天。从表中可以明显观察到,该模型提出了(MALSTM和MALSTM-L)明显优于其他模型比较。其中,RMSE指数而言,MALSTM和MALSTM-L提出本文取得了最大提高2.04%和4.18%,分别比古典关注架构MALSTM-T和取得4.45% - -6.72%和6.04% - -8.67%的改善与其他模型相比不使用注意机制。
与此同时,在美指数,与经典的关注架构MALSTM-T相比,MALSTM MALSTM-1达到最大提高1.78%和4.33%,分别。与其他模型相比没有注意机制、MALSTM和MALSTM-1达到-11.06%,提高4.26% -8.96%和5.82%分别。这些结果说明本文提出的多输入。这些结果证明的有效性和进步多输入关注网络模型在本文提出。同时,通过对比两个模型提出本文可以发现与MALSTM相比,RMSE指数和梅MALSTM-1指数增加了2.02%和2.52%,这显示了稳定的合理性和有效性约束基于模型,证明了市场的动态变化趋于稳定。
此外,通过横向分析根据时间维度的预测结果,可以发现,传统LSTM和MLSTM模型的预测效果显著降低预测时间的流逝。例如,两个模型的预测结果的准确性降低14.51%和7.21%,第十天,分别在RMSE指数相比第一天。可以看出multisequence输入模型明显优于直接输入目标单序列的模型,证明了多个序列之间的关系可以有效地帮助市场的macrodynamic建模,提高了模型的精度的长期预测结果。同时,MALSTM和MALSTM-L模型、长期预测结果只减少了5.41%和4.80%在RMSE指数,这表明本文提出的模型可以宏观动力学模型的长期波动的金融市场,也表明稳定约束的有效性macroprediction市场,这也进一步证明了该模型的鲁棒性在金融macromarket预测。数据4和5显示RMSE和梅值总数的交易平台四个算法预测的周期从1到10天。
从图4和图5,很明显,MALSTM-L提出最大的稳定性约束。结果进一步证明multisequence的重要性提出了预测的macromarket动力学也证明multisequence注意力机制的有效性,本文设计的模型。表中的结果3和4显示市场的RMSE和梅结果统计预测在接下来的十天。
结果表明,序列预测模型的准确性增加然后减少随着预测时间的流逝。此外,通过比较预测误差的变化趋势的四个方法,它可以发现MALSTM-L模型的误差最小的变化范围,进一步验证本文提出的模型的鲁棒性在macromarket预测和引入市场稳定约束的有效性。此外,相比之下,因为事务的序列号码是更不稳定的交易金额,MAISTML在某些情况下比MALSTM弱的结果表3和4。和结果在图所示的图表6和7。
6。结论
互联网macrodynamic预测金融市场,本文的作者,首先,介绍了动态特性的时间序列网络金融市场和预测问题的研究背景,回顾了传统的时间序列预测方法,基于深度学习方法和注意力机制,并对当前时间预测,研究金融市场进行了简要介绍。针对流动性强的特点和高波动性的互联网金融市场,本文提出一种基于深层神经网络预测模型融合层次multitime系列学习。首先,模型可以处理多个序列特性的输入变量(macrodynamic系列和multiseed系列)和融合时间和序列特征的输入变量使用注意机制。其次,模型设计一个优化函数基于稳定性约束的预测序列,使模型预测有更好的鲁棒性。最后,通过大量的实验进行一个真正的大型互联网金融数据集。实验结果表明,该学习神经网络时间序列预测模型提出了基于多级融合深度取得了最好的预测性能,这充分证明了模型的有效性和鲁棒性的macrodynamic预测互联网的金融市场。
摘要macrodynamic预测互联网的金融市场探索,和multisequence输入对市场动态建模的影响。与此同时,市场稳定的macrodynamic利用改进时间序列预测的准确性,提供一个新的研究观点进行时间序列预测。未来的研究可以从两个方面进行:(1)进一步探索子序列对宏观动力学的影响和子序列之间的交互;(2)探索的影响外部信息,如新闻媒体文本,市场预测的宏观动力学。
数据可用性
在当前的研究中使用的数据集是可从相应的作者在合理的请求。
的利益冲突
作者宣称没有利益冲突。