优化量化金融数据分析系统基于深度学习

文摘

为了更好地帮助投资者评估和决策的财务数据,提出了需要建立一个可靠和有效的财务数据预测模型,金融数据分析的基础上,集成学习算法来分析财务数据并完成财务数据分析系统基于深度学习。介绍了平台的关键模块的实现细节。用户交互模块获取和显示检索结果通过数据解析、调用后台,和计算引擎。数据清洗模块填充、优化和规范化数据通过业务的经验;计算引擎模块使用的算法,提取数据库信息相似的时间序列和匹配的金融模型。最后,数据采集模块填充数据库与历史数据在初始化阶段,每天更新数据库。量化交易的数据分析平台的设计和实现进行了需求分析,设计,实现和测试。从功能测试和性能测试的角度来看,两个函数类似的股票搜索和金融选择匹配模型和测试结果符合预期的结果。

1。介绍

金融市场主要包括股票、期货、债券。为了更好地预测其波动,趋势,和价格,许多专家和学者探索金融领域通过构建和设计各种深度学习模型来获得理想的结果。股票数据一直是一个重要的财务数据(1,2]。股票数据的预测领域的广泛关注金融、机器学习、深入学习。财务数据是一个复杂的、高维、嘈杂的时间序列数据。的主要原因是缺乏市场心理分析的准确性和金融政策3]。对金融市场的预测研究,传统的金融计量经济学分析方法的准确性较低,不适合复杂高维金融数据。深层神经网络可以模拟人类大脑的形式,学习和分析复杂数据的特点,一层一层地,把它作为数据形式,并最终提高数据分类和预测效果4,5]。

在不同的学术领域,学者们提出了各种财务分析和预测方法,包括(1)财务预测基于经济学和其改进的预测方法,如金融预测方法基于灰色线性回归组合模型,数据需求的特点和准确的预测模型;(2)基于数学和统计预测方法和模型,如改进的隐马尔可夫模型及其应用在金融预测,金融预测基于贝叶斯最大似然估计,等等。6,7]。近年来,有一些方法来分析和预测财务数据与计算机技术相结合。其中,基于深度学习的金融预测技术发展迅速,金融预测方法等基于遗传算法和神经网络的耦合和广义回归神经网络(8,9]。深入学习算法的不断研究,卷积神经网络,网络的高度信任,以及堆栈self-coding网络广泛应用于计算机视觉和其他方面的建模和得到很好的预测结果。此外,有许多传统的预测方法的应用在计算机技术中,如支持向量机法和EMD法。财务分析和预测方法与计算机相结合,传统的预测方法和深度学习金融预测方法基于卷积神经网络有很强的创新和在特定的领域或环境中具有较高的准确性和可靠性(10]。

基于上面的分析方案,财务数据结合经济学、数学和计算机科学,甚至预测方法是基于卷积神经网络(CNN)或传统人工智能。如果模型是建立在长时间序列的历史数据,内存和时间依赖性分析的能力模型的数据差,不能满足金融数据分析的需求长时间系列。这个系统创造性地使用的长期和短期记忆神经(LSTM)网络的递归神经网络(RNN)建立财务预测模型。其特点如下:预测模型是符合历史数据的变化特征相互影响产生的时间线,而不是数据本身。也就是一天的数据变化与昨天的数据,昨日的数据与前天的数据,和前天的数据更遥远的有关数据。递归关系分析了这种演绎,和数据系列跟踪了。该方法充分利用时间序列的特点,金融数据变化相关性,和复发。通过大数据、机器学习和深度学习,我们可以整合数据,信息,和市场决策,实现智能关联数据,帮助用户之间提取关键特性数据,避免市场风险,提高工作效率和投资能力。量化交易的数据分析平台的设计和实现进行了需求分析,设计,实现和测试。从功能测试和性能测试的角度来看,两个函数类似的股票搜索和金融选择匹配模型和测试结果符合预期的结果。

2。定量数据分析平台的设计事务

定量数据分析平台事务有很多功能需求,页面主要分为前端和后端功能。一方面,它提供了一个互动平台,接收用户请求和将它们提交到后台;另一方面,它将实现背景划分为多个功能子模块基于低耦合的设计原则,以保证模块之间的明确分工和相互合作,实现的功能相似性搜索和模式匹配(11,12]。

2.1。系统架构的概述

根据上述定义的功能需求,系统分为四个模块:用户交互模块,数据清洗,计算引擎,引擎和数据采集。用户交互模块负责显示相关的信息给用户,从用户获取相关参数,截取相关的子序列,并显示计算结果(13]。数据清洗过程中的异常值和规范API返回的数据,将原始时间序列被客户作为输入,并返回的结果类似股票检索和金融模型匹配计算后的用户交互模块。数据采集引擎负责收购的历史价格数据过去三年在初始化阶段,然后每天更新数据库根据交易情况,使足够的数据储备计算引擎。

从图可以看出1,当用户首次接触系统,用户首先选择通过用户交互系统调用序列数据采集模块的接口获取用户所需的子序列的数据,返回到用户交互系统,提供给用户,让用户拦截子序列。当用户确定搜索的内容是相似的股票识别或金融模式匹配,用户交互系统调用相应的接口在计算引擎根据用户的选择并将结果呈现给用户。

用户交互的功能模块包括三个部分:接受用户的搜索请求,调用其他接口,并显示结果。其中,接收用户搜索请求包括接收用户股票序列查询请求和拦截子序列和允许用户定义的查询内容。调用其他接口包括调用风接口来判断股票代码的有效性,叫风接口相关股票序列,调用数据清洗接口,调用两个接口在计算引擎得到计算结果。结果显示包括股票系列的查询结果展示给用户和计算引擎的计算结果展示给用户。

2.2。数据处理模块

数据采集引擎模块主要用于请求第三方的股票数据数据采集接口,并将其存储在数据库中,提供实时、全面、准确的数据保证计算引擎[14]。它包括查询和获取特定于用户的数据,一次性历史数据采集在初始化阶段,日常数据降维结果的更新和重新计算在未来,包括APCA降维结果,APCA降维结果,和极端点降维结果,最后更新时间序列特性列在数据库中根据最新的降维结果。主要功能如下:(1)在初始化的时候,300只股票的每日数据捕获和存储在数据库中。(2)初始化后,调用API每日增加300支股票的最新价格时间信息,并调用数据清理模块的接口检查返回的数据的完整性和干净的数据。(3)根据模型匹配方法的需要,查询特定的金融技术指标数据。(4)后的最新APCA降维结果,获得的结果并写入数据库。(5)刷新最新的降维后的极端观点。(6)更新功能列结果显示极端点。

社区是主要用于数据预处理,首先确定时间序列数据是否合格,是否有悬挂等现象;其次去除奇异点和特殊点,修改错误数据,填写无效数据,最后正常化,如图2。

数据清理接受风力数据采集的数据API用户交互模块发送的清洁和法官。首先,判断该公司股票被暂停。如果价格等于最低的价格最高,它证明了股票暂停并返回用户的相关错误信息。如果没有悬挂,法官是否有局外人的观点,比如0是负的,或股票一天增加超过10%,或减少的股票超过−10%。在异常值的情况下,新浪tushare接口应该被称为进行第二个查询来获得它的真正价值。如果两个查询异常值,将产生一个错误报告给用户。如果数据通过测试,股票序列是由最小归一化niax删除造成的差异不同的值不同的股票。最终结果是真正的价值没有异常值和缺失的数据,包括外部接口。

2.3。混合金融识别模型

2.3.1。金融特征点过滤

类似的基于动态股票识别模型正规化距离主要包括金融模型的特征点提取和模型匹配程度检测。如上所述,金融模型只能判断其局部最小值的技术指标之间的关系,所以输入需要局部极值所需的金融模型。任何残留引起的非特异性点小波动或降维不足会影响时间序列,如果进入模型的识别判断。模型将比较噪声点作为特征点,这将影响一些时间序列的模型识别特征点,所以我们过滤特征点的基础上降维(APCA和极端点15]。过滤掉的小波峰和波谷影响金融的判断模型,并提取特征点,可以用来判断金融模式。因为时间要求的金融模型基本上是超过一个月,三个月,和相邻极端点之间的差距应该大,因此,如果两个相邻极端点关闭,区别很小,我们应该忽略这条极端点。结果是满足用户定义特征点的金融模型,将金融模型的输入匹配的方法。

2.3.2。模型建立

金融模型通常由几个特征点,等一段时间的局部极值,及其相邻极值点之间的关系,包括值之间的关系,时间,和其他技术指标。和金融模型通常是严格的,所以传统的DTW比较法是不可靠的。因此,我们需要模型几种常见金融模型和变换的描述特征点在金融模型转换为一个可编程的方法,以遍历和匹配时间序列的子序列,找到符合要求的模型。三种最常见的古典川崎汽船形状,双顶,头肩顶,双层底,用于匹配的方法。这三个模型中经常出现股票价格时间序列和最经典的模型。输入匹配方法的几个地方极大极小时间序列的特征点,并输出结果是否时间序列是一致的。

3所示。深入学习算法进行财务数据分析

3.1。深度模型的结构和施工方法

由于神经网络可以模拟人类大脑研究复杂的问题,RNN,作为一种递归神经网络算法,已广泛应用于时间序列分析近年来。传统的神经网络的基础上,递归神经网络的神经元层和节点之间的连接,以确保输出信息的上层是下一层的输入信息。具体表现是,会记得以前的递归神经网络的信息并把它应用到当前输出计算和使用的记忆功能特征模型影响data.Where最近的变化 是输入变量, 重量偏差的偏差,是组合函数,然后呢是非线性激活函数:

单层感知器功能有限,甚至不能解决简单的异或操作,所以基于单层网络,递归神经网络,即前馈神经网络,提出了。然而,发现RNN的输出不仅取决于当前的网络模型的输入信息,但也在前网络模型的状态。当输入时间序列数据太长,推导链太长,RNN网络很难保留时间序列数据的特点,它是容易梯度消失或梯度爆炸。共同RNN网络结构不能解决数据依赖的问题很长时间了。财务数据是一种时间序列。进一步快速发展的金融市场和大量数据的积累,这是一个长期的财务数据之间的依赖性。因此,需要更好的神经网络来解决问题的长期依赖。

长期短期记忆模型(LSTM)是一种新的基于RNN网络结构,具有良好的性能在时间序列分析的相关领域。它可以解决RNN的问题模型梯度消失和精确模型的短期或长期的数据。同时,它也是LSTM的扩展组件已逐渐发展成一个共同的深层神经网络。之间没有本质区别LSTM网络和RNN网络的拓扑结构。更精细的内部处理单元是用于存储和更新之间传输上下文数据隐藏层,和一门控制单元用于控制的数据流信息。LSTM网络模型包括输入层、输出层和隐层。作为一种特殊的存储器模块LSTM模型,隐层商店的门控制单元的输入和输出信息的所有节点的状态信息,记得经常隐藏层。LSTM属于时间序列数据(时间),需要全球加工;输入和输出之间的对应元素(如单词之间)可能有一个大的时间跨度;数据不是太短但时间不会太长,即。,不到1000步。

无论RNN网络模型或LSTM,他们都有处理固定长度的序列数据的限制。为了解决不定长度的序列数据的问题,提出了一种Seq2Seq模型,将一个序列作为输入映射到另一个输出序列和主要完成两个基本步骤:编码输入和解码输出。根据编码器编码输入序列数据和输出编码的网络状态。去年编码器和解码器接收到需要它的初始状态。与此同时,每个解码步骤的输出值是下一步的输入值。因此,Seq2Seq模型的训练过程可以更好地学习时态关系数据也能保持更强的鲁棒性。在各种各样的输入序列x与不同长度映射到高维特征空间,所有的信息在整个序列的输入层压缩成一个固定长度的特征向量C通过编码器层传播。向量C通常是最后一个隐藏节点hRNN或多个隐藏节点的加权和。公式如下:

解码层使用代码的特征向量和生成的输出序列标签。这一层通常是采用RNN的体系结构构建的。

当使用固定的序列,编码框架是用来训练整个模型的概率最大化目标序列。然而,由于包含的信息量的限制在固定长度编码的特征向量,Seq2Seq模型的性能的增加将减少源序列的长度。为了解决这个问题,在注意力机制,译码器试图找到最重要的信息的位置编码器序列和使用信息和先前解码的字来预测序列中的下一个标签。

源序列 在正向和反向输入到模型的方向,分别,然后得到了积极的和消极的隐藏节点。特征向量年代通过加权得到隐藏的节点h在RNN不同的权重:

每个隐藏节点h包含相应的输入字符X_我及其与上下文的关系。的价值就越高是,更多的关注我对th输出jth输入。根据这个记忆特性,该模型可以突破限制固定长度的序列,构造不同数量的隐藏节点通过不同长度的序列,并调整网络模型的输出。

3.2。预测模型设计基于深度学习

作为索引的时间安排,和个股选择和索引包含多个组交易数据包括开盘价、收盘价、最高的价格,最低的价格和交易量。通常,收盘价是一个重要因素代表股票的变化趋势,深度学习预测模型,收盘价作为关键特性,和时间作为深度学习模型,建立的标签和收盘价和相应的趋势图预计和输出。在本文中,我们首先设计和优化LSTM结构,然后比较LSTM与其他神经网络。

3.2.1之上。网络结构设计

时间序列预测是基于过去一段时间的特征来预测未来的数据特征。用时间序列数据的长度的增加,它是容易梯度消失的现象。长时间运行和短时间记忆模型包含一个特殊的门控制部分,因此它有一定的内存特性之间的特征数据。因此,根据时间序列数据的特点,本实验构建LSTM网络。具体的结构图如图3。

如上图所示,LSTM网络添加一个隐藏层之间的门控制单元。门控制机制可以控制神经网络之间的信息传输。信息经过LSTM神经网络时,闸门控制机制决定了信息需要被保留或丢弃的记忆单位,和新状态中的信息需要保存到内存单元。这使得LSTM神经网络的输入和输出已经很长一段时间序列之间的关系。

3.2.2。网络激活函数的选择

为了提高神经网络的非线性特性,传统的LSTM网络选择褐色h函数作为激活函数。逐渐增加或减少的独立变量,对应的函数的值也会保持单调增加或减少的范围−1和1。然而,当训练数据量很大,梯度轻易消失,导致网络参数无法被更新和培训的网络无法有效地完成。

为了避免梯度消失的问题,本实验选择ReLU LSTM网络模型函数作为激活函数,因为这个函数的主要功能是改善网络的稀疏特征。在ReLU函数的一部分独立变量小于0,所有函数值恒为零,即单方面抑制。独立变量大于0时,函数的值增加而增加的独立变量。与其他激活函数相比,由于单方面抑制ReLU,神经网络是稀疏的,减少了数据之间的相互依存和减轻过度拟合现象。图4下面是ReLU和褐色的示意图h功能。

根据对比ReLU函数和褐色h函数,函数的价值对应ReLU独立变量的增加而增加。虽然谭的对应值h功能的增加,与独立变量的增加,其函数值逐渐接近1。相比之下,谭h函数,ReLU函数的收敛速度更快。因此,在实现神经网络通过ReLU稀疏,它可以更好的挖掘的相关特征数据,以便LSTM网络能够更好地适应训练数据。

3.2.3。网络训练方法和优化

梯度下降法是一个重要的方法来调整参数的神经网络模型。它的主要目标是减少损失函数的值。但梯度下降法只能达到局部最小值。当越复杂网络模型有大量的计算和训练时间长,梯度下降法收敛差的模型。随机梯度下降算法,以加快迭代速度,选择最快的方向减少的损失函数参数更新和迭代计算,直到神经网络损失函数值下降到满足要求的范围内,但随机梯度下降算法不能实现全局优化。

与上述两种梯度下降算法相比,批处理梯度下降算法可以减少更新参数和训练时间。该算法将训练数据划分为小批量样品和更新训练数据的损失函数在当前批每一次。一般来说,培训一批被称为批处理,如图5在下面。

其中,表的价值n不是批量大小,通常用于描述批量的大小。当n价值选择批量很小,很难达到收敛。同样的,当选择的n价值很大,每个模型的训练需要大量的时间。因此,考虑到模型的训练时间和收敛性,有必要设置一个合理的范围n价值。

当训练加速模型学习,进一步学习速率决定了批处理梯度下降方法的梯度方向移动。用亚当算法构建的学习速率LSTM网络模型实质上是计算梯度的一阶矩估计和二阶矩估计和自适应调整学习速率不同的参数。因此,在神经网络的迭代计算,亚当可以实现模型收敛速度更快的学习速率的设置范围。亚当优化器的公式如下。

4所示。实验和分析

摘要不同的超参数调整算法,许多实验进行改进算法。RNN()递归神经网络预测结果将接近目标结果与训练时间的增加,但随着训练时间的增加,预测性能不会改善在一定程度上,趋向于饱和。如图6不同训练次数下,预测的结果。

在图6,蓝线代表了原价,黄线代表训练预测价格,绿线代表了仿真试验的预测价格。其中,当训练的数量是1,预测结果数据严重脱离目标数据。当训练的数量是100,预测结果更接近目标的结果,预测效果显著提高而一个培训。当训练的数量是1000,预测效果不显著提高与100年相比培训,表明预测的效果已经饱和,不需要增加培训。

本文选择开盘价、收盘价的最高价格,最低价格,成交量从2012年至2019年一系列的10只股票和索引的数据集模型。使用70%的数据作为训练集和30%的数据作为验证集,评价的神经网络模型。最后,RMSE和梅选为评价指标来评估短期收盘价系列。表1和图7显示实验预测结果。

通过实验,我们可以看到,大多数样本的预测误差是在低水平,这意味着该模型可以更现实的预测结果。然而,当有一个大波动之间的数据,预测模型也将是不准确的,导致较大的预测误差。上海浦东发展银行是一个特殊的组件之间的股票数据10组数据。其收盘价格从几百到几万不等。当长时间运行和短时间记忆模型(LSTM)预测的示例,该模型是不准确的。第二组实验,RNN LSTM,选择和Seq2Seq神经网络分析50只股票的短期价格在上海证券交易所,为了更清楚地显示每个算法的性能。选择单个股票的华夏幸福的预测结果。

根据实验结果,我们可以看到,深入学习算法模型可以跟踪学习股票的价格趋势数据,但是随着时间的增长,各种各样的网络模型有一些价格波动预测。红色部分是LSTM模型,可以预测股票价格偏差略低于Seq2Seq RNN。RMSE,日军,美选择评估三种网络模型的预测效果,如图8和9。

与预测日的增加,三种深度学习模型的预测误差也逐渐增加。与其他Seq2Seq和RNN网络相比,LSTM网络模型相对较小。因此,选择一些股票比较分析,预测结果如表所示2和图10。

在第二组实验中,当神经网络周期的数量是固定的,用时间序列数据样本的数量的增加,RMSE日军指标都在不同程度的增加,这也表明LSTM模型在短期股票预测的准确性逐渐减小,预测误差增加。LSTM网络复杂性较低的比Seq2Seq模型具有更高的复杂性。

5。结论

量化交易的数据分析平台的设计和实现进行了需求分析,设计,实现和测试。从功能测试和性能测试的角度来看,两个函数类似的股票搜索和金融选择匹配模型和测试结果符合预期的结果。基于深度学习金融数据分析模型,介绍了主流深度学习RNN的特征和基本原则,LSTM, Seq2Seq算法。这三种算法的基础上,预测的三种算法进行比较,以验证值的优点深学习算法在金融数据分析,和深层神经网络在时间序列数据的预测精度高。介绍了平台的关键模块的实现细节,包括web服务、数据清洗、计算引擎,引擎和数据采集。用户交互模块获取并显示检索结果通过数据分析,调用后台,和计算引擎;填充数据清洗模块,优化和规范数据通过业务的经验。计算引擎模块使用的算法,提取数据库信息相似的时间序列和相匹配的金融模型;最后,数据采集模块填充数据库与历史数据在初始化阶段,每天更新数据库。量化交易的数据分析平台的设计和实现进行了需求分析,设计,实现和测试。 From the perspective of function test and performance test, two functions of similar stock search and financial matching model are selected and tested, and the results are in line with the expected results. Based on the deep learning financial data analysis model, this paper introduces the characteristics and basic principles of the mainstream deep learning RNN, LSTM, and Seq2Seq algorithms. On the basis of these three algorithms, the prediction values of the three algorithms are compared to verify the advantages of deep learning algorithm in financial data analysis, and the deep neural network has higher accuracy in time series data prediction.

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称他们没有利益冲突或人际关系可能出现影响工作报告。

引用

1. f·贝克,s·科赫和d . Weiskopf”视觉分析和传播科学文献收藏与SurVis”IEEE可视化和计算机图形学,22卷,不。1,第189 - 180页,2016。视图:出版商的网站|谷歌学术搜索
2. w .江,f·林,j . Zhang t·詹·曹和s .王”Deep-learning-based分割和本地化的白质hyperintensities磁共振图像,”交叉学科:计算生命科学,12卷,不。4、438 - 446年,2020页。视图:出版商的网站|谷歌学术搜索
3. l .赵f·李,x, y . Zhang h·肖和y,“deep-learning-based 3 d缺陷定量检测系统在CC产品表面,”传感器,20卷,不。4、980 - 996年,2020页。视图:出版商的网站|谷歌学术搜索
4. 程y, z邵,t . et al .,“城市洪涝灾害影响的分析基于深度学习模型,”武汉大学学报(新禧《禁止)/武汉大学测绘学和信息科学,44卷,不。1,第138 - 132页,2019。视图:谷歌学术搜索
5. t·富t Muqin、y杰明和j·李,“优化RBFneural网络用于识别煤浮选状态,”《智能与模糊系统,34卷,不。2、1193 - 1204年,2018页。视图:出版商的网站|谷歌学术搜索
6. a . y . Chen Janowczyk, a . Madabhushi”定量评估的影响压缩深度学习在数字病理图像分析,“JCO临床癌症信息学,4卷,不。4、221 - 233年,2020页。视图:出版商的网站|谷歌学术搜索
7. c . Atkinson-Clement j·萨达特,s·平托”行为在帕金森病治疗演讲:荟萃分析和审查的文学,”神经退行性疾病管理,5卷,不。3、233 - 248年,2015页。视图:出版商的网站|谷歌学术搜索
8. m·j·阿尔伯斯”量化数据被研究生课程,”技术写作和通讯》杂志上卷,47号2、215 - 233年,2017页。视图:出版商的网站|谷歌学术搜索
9. •m . Byra, a .汉勃林格et al .,“量化肝脏脂肪分数由多视点超声测量使用深度学习和注意力地图,”《美国声学学会杂志》上,卷146,不。4 p。2864年,2019年。视图:出版商的网站|谷歌学术搜索
10. 焦j·d·j·f·郑,l . p .太阳”建模方法对水华预警风险基于神经网络在城市湖泊,“中国Huanjing《中国环境科学/,37卷,不。5,1872 - 1878年,2017页。视图:谷歌学术搜索
11. x Du, r, s .阴y,和美国,“直接有效完整的量化左心室通过深多任务回归学习网络,”IEEE生物医学和卫生信息学杂志》上,23卷,不。3、942 - 948年,2019页。视图:出版商的网站|谷歌学术搜索
12. y和c .沈”互联网金融交易风险识别系统的设计和实现基于大数据分析,“C e钙,42卷,不。2、767 - 771年,2017页。视图:谷歌学术搜索
13. m .太阳,即Konstantelos, g . Strbac“深上优于特征提取系统安全评估框架,“IEEE智能电网,10卷,不。5,5007 - 5020年,2018页。视图:出版商的网站|谷歌学术搜索
14. r, l . Wang z胡锦涛et al .,“定量验证卫星观测数据的电离层结构参数利用地面数据,”《地震学报》,39卷,不。4、549 - 557年,2017页。视图:谷歌学术搜索
15. p . Zhaodong t . Ping l . Liangkun et al .,“分层分散式控制建筑结构基于自适应RBF神经网络算法,”中国土木工程杂志,51卷,不。1,51-57,2018页。视图:谷歌学术搜索

版权

版权©2021若不是梁。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。