文摘

股票价格预测在财务决策是非常重要的,也是最困难的部分经济预测。影响股票价格的因素是复杂多变的,和股票价格波动有一定程度的随机性。如果我们能准确地预测股票价格,股票市场的监管机构可以进行合理的监督和投资为投资者提供有价值的决策信息。正如我们所知,LSTM(长短期记忆)算法主要用于大规模数据挖掘比赛,但它尚未被用来预测股票市场。因此,本文使用该算法来预测股票的收盘价。作为一个新兴的研究领域,LSTM优于传统的时间序列模型和机器学习模型和适用于股票市场分析和预测。然而,一般LSTM模型也有一些缺点,因此本文设计LightGBM-optimized LSTM实现短期股价预测。为了验证其有效性与其他深如RNN网络模型(递归神经网络)和格勒乌(封闭的复发性单元),LightGBM-LSTM, RNN,格勒乌分别用来预测沪深300指数。实验结果表明,该LightGBM-LSTM预测精度最高和最好的能力来跟踪股指价格趋势,其效果比格勒乌和RNN算法。

1。介绍

截至2019年12月16日,有3765中国上海和深圳股票市场的上市公司,总市值57.779362万亿元(1]。投资者正越来越多的参与到金融市场。然而,由于股票市场的不确定性,个人投资者缺乏专业技能,以及有关专业技术分析方法,不能满足投资者的投资预期的回报。第一个挑战是选择正确的特性从许多特性产生重大影响股票价格波动。在现有的研究中,灰色相关分析,相关分析等方法是常用的筛选模型的重要特征(2]。其中,灰色关联度分析需要确定的特征模型的最优值,但很难被广泛使用,因为它强烈的主观性和困难在确定最优值的特点。第二个挑战是如何构建一个股票价格预测模型具有较高的效率和准确性。股票价格预测的过程中需要大量的信息建模和预测,提出高要求算法处理大规模数据的能力(3]。目前,根据不同的理论构建股票价格预测模型,预测模型可分为三类:时间序列模型、机器学习模型,深入学习模型(4]。时间序列模型指数平滑法等方法,自回归移动平均模型和自回归条件异方差性的模型拱(5]。基于机器学习的模型已经逐渐应用于股票价格的研究,不断提出新的模型来预测未来趋势的股票或一些特定的股票投资组合,如价格指数。机器学习模型在随机森林等数据挖掘方法和支持向量机模型(6]。深度学习是现代自动特征提取和预测的工具。它有很强的适应能力和自学能力,不需要显示特定的网络关系和数学模型。它已经取得了一些进展在智能语音和图像分类技术7]。有很多方案的应用深度学习模型在股票价格预测模型8]。目前,研究人员深入学习理论应用于金融时间序列预测9]。然而,传统的模型很容易过度拟合的问题和时间序列依赖的数据,和RNN递归神经网络来解决这个问题。然而,RNN有一些问题,如梯度爆炸和不能收敛于最优解10]。研究人员正致力于深度学习应用到股票价格预测(11]。与传统的神经网络和机器学习模型相比,深度学习具有更高的精度,更全面的解释能力,和较强的学习能力,抽象的问题(12]。

本文的贡献如下。(1)本文设计LightGBM-optimized LSTM实现短期股价预测模型。(2)设计模型可以输出一个更好的结果在预测短期股票价格。(3)为了验证其有效性与其他深如RNN网络模型(递归神经网络)和格勒乌(封闭的复发性单元),LightGBM-LSTM, RNN,格勒乌分别用来预测沪深300指数。实验结果表明,该LightGBM-LSTM预测精度最高和最好的能力来跟踪股指价格趋势,其效果比格勒乌和RNN算法。

本文分为五个部分。第一部分介绍研究背景;第二部分是介绍研究现状;第三部分是介绍LightGBM-LSTM模型算法;第四部分展示了预测LightGBM-LSTM算法对股票价格的影响,相比之下,RNN和格勒乌算法的预测效果;第五部分是本文的结论。

Samreen等人使用混合金融系统(HFS)模型卡拉奇证交所指数数据kse100短期预测(13]。安是在预测比ARIMA和拱家庭模型(14]。研究人员提出了一系列问题:缺乏说服力和语言区间的长度,和多个属性不是用于预测。在验证,实际的事务被用作实验数据集。研究显示列表方法基于平均误差百分比(15]。许多研究已经使用机器学习技术来预测股票市场价格,包括朴素贝叶斯、支持向量机和随机森林在过去30年里。Jae和年轻的设计一个混合特征提取算法和SVM组合和预测股票指数的趋势表明,预测效果更好(16]。基于在线新闻数据,利和萨钦分析和预测股票市场地位(17]。Datao等人提出,传统的综合学习模型有问题18]。每日收入的短期预测的标准,可以提供相当大的净利润合理的决策19]。有限公司等人使用两种方法来预测VN越南股市指数(发展中国家宏观经济指标)通过使用两种方法:时间序列模型ARIMA和LSTM RNN模型深入学习方法(20.]。程ARIMA模型和arch模型的预测效果比在香港股票指数。研究表明,有两个模型在应用程序之间无显著差异,但应该选择更好的模型在不同时期21]。罗和Sattayatham研究了上证综合指数的收益率系列,提出模糊GARCH模型,相比分布模型和非对称的影响模型的预测精度非线性回报率。结果表明,波动影响模糊GARCH模型的预测效果比分布假设[22]。戴和局域网建立上海股市人气综合指数结合股市论坛的文本数据和事务数据,并使用神经网络来预测股票市场的价格变化。研究表明,股票指数趋势预测的准确性已经显著提高信心指数(介绍后23]。邓小平和李优化随机森林算法利用网格搜索参数优化方法,并构造一个股票预测模型基于纯粹的技术指标和参数优化随机森林。与原来的随机森林、决策树和支持向量机分类模型的比较表明,模型的准确性和AUC值评估随机森林后股票预测模型参数优化是改善与其他模型相比24]。汉等人提出了一种改进的微分进化算法和引入当地运营商和混合变异策略来加快收敛速度,提高算法的局部搜索能力。本文设计RBF神经网络的股票指数预测模型。(25]。

3所示。建设基于LSTM股票预测模型和时间序列模型

3.1。引入变量LSTM模型

数据流方向和计算过程LSTM three-gate神经的结构模块的详细分析如下。

3.1.1。忘记门

LSTM网络计算一个值f从0到1H−1和X和使用价值f决定是否“忘记”的信息价值C1−1(0表示完全抛弃,意味着完全保存)。“忘记门”的控制功能如下:

3.1.2。输入门

“输入门”的控制功能如下:

乙状结肠层和双曲正切层结合生成一个新的更新状态。

3.1.3。细胞状态

细胞状态的更新功能如下:

具体的更新方法f通过旧的细胞状态C−1。C新的候选值来确定有多少需要更新状态值。

3.1.4。输出门

输出的结果o计算的输出门LSTM,细胞状态C在t时间是处理双曲正切。它决定哪些信息在OT最终输出,输出门和控制功能的数量如下:

其中,输出门的功能是输出状态C控制单元的神经单元并将其传输到下一个。

3.1.5。单变量的长期和短期记忆网络

在哪里W观察窗的宽度。

3.1.6。多变量的长期和短期记忆网络

如果变量的数量n和原来的股票价格序列添加,让输入时间序列 在哪里我是序列号的因素,假设0代表股票价格序列和1n代表了多变量序列,输入的矩阵形式t表示如下:

在多变量LSTM,一个变量序列映射关系不仅有自己的隐藏层,但也与其他多个变量隐藏层。网络映射是更加丰富,模型的性能改善。然而,网络结构更复杂的比单变量LSTM模型。

3.2。概述的研究框架

LSTM模型是用来捕捉股票价格的时间自相关。此外,据预测任务的特点,提出了随机子空间学习数据挖掘模型。最后,在以上的基础上,提出了一种股票预测框架使用多任务深度学习模型。该方法的框架如图1。


图1
股票预测框架。
3.3。数据收集和预处理

本文使用的数据收集从沪深300指数的风金融终端,与000300年的代码。HSO汽车贸易公司数据间隔是3605个交易日从4月8日,2005年,2020年2月6日。其中,训练样本间隔从4月8日,2005年12月31日,2014年,共有2366个样本。预测样本范围是从2015年1月1日,2月6日,2020年,共有1239个样本。

缺失的数据插值过程中,数据填值将按照下列公式计算:

其中, 是一个实验性的重量,可以用来优化填充效果。重量大约是设置在这个实验中 。值得注意的是,插值过程限制了预测性能与其他模型相比。在实验中,当其他数据插值方法实现通过改变的价值 ,结果是相似的。

3.4。基于LSTM股票时间预测模型

本文主要研究股票价格的预测,也就是说,建立股票和其他变量之间的关系模型。认为有必要预测指定的坐标位置的价格(x,y)时间t可以表达的

后的训练集的组织过程中,训练样本与时间戳会自动形成一个时间序列。基于有限的短期记忆之前的输入信息,RNN模型实现的机理预测下一步会发生什么用新学到的知识和新的输入信息。因此,RNN模型的优势超过其他人工神经网络模型在处理空气质量预测。

然而,传统的RNN模型经常遇到梯度爆炸或梯度消失的问题,因为梯度向量组件可能会或衰减指数的长序列训练过程。RNN的变体模型、LSTM模型旨在通过闸门机制解决RNN模型的问题。

LSTM神经网络模型的架构在这项研究中的应用是图所示2。其中,记忆细胞层之间的主要区别是LSTM模型和传统RNN模型。它的角色传送带连接信息,这意味着LSTM模型可以记住信息“很长一段时间”。“记忆细胞层的引入提高了梯度训练过程通过使用先前获得的记忆细胞,以确定接收程度的知识和隐藏状态的更新程度。”“门”机制的目的是调整程度信息添加或删除。LSTM模型图2有三个门。


图2
长期和短期内存模型。

作为Elman [5)介绍,在传统RNN网络,之前隐藏的状态可以简单地通过使用以下更新:

输入状态是由训练和优化系数矩阵的最后隐藏状态。根据两个门向量的值t太的最终值可以根据以下计算:

其中,操作0代表了乘法元素,元素之间的记忆细胞的状态和“门”向量。

然后,隐藏的状态Ht可以通过太(13):

此外,上述三个“门”向量的变换方程如下: 乙状结肠函数 ,也就是说,

到目前为止,LSTM模型在时间单位t包含一个隐藏的状态Ht一个存储单元Ct和三个向量的“大门”,即一个输出通道去,t,忘记门女朋友,t和一个输入通道胃肠道,t。

模型训练过程中,后面时间传播机制是用来调整参数米,N,和P基于损失函数由最小化均方误差

在此基础上,开发一个名为LSTM-drsl的数据挖掘模型,集成了LSTM模型和随机子空间集成方法。证交所方法引入空气质量预测的任务。在这个框架中,我们使用引导方法:随机空间是由随机抽样 特征选择过程中排放特性N随机子空间采样过程可以重复获得的特性n次了。对于每一个随机子空间,可以结合空气质量和排放特征训练LSTM预测气象特征。

3.5。股票预测模型基于多任务学习方法

目前,目的是实现目标在一个单一的任务;在一个任务中,通过数据输入一个特定的任务,可以取得具体成果。不同于这些方法,多任务学习结合输入共享数据。这两个学习的比较结构如图3。


图3
构造图单任务操作的学习和多任务学习。

本文结合了多任务学习和LSTM意识到股票预测。在这个过程中,MT-LSTM扩展框架基于多任务共享机制采用由时空特征。多任务共享机制允许输入层和LSTM层共享信息在多个预测任务。在时间t,为每一个任务T∈{一个,B,C,D},为代表的输入信息 是由一个共同的部分 和一个特定的部分(如 )的任务T结合的连接操作 。然后,输入连接 和最新的隐藏状态 和下一个隐藏的状态 通过公式(18)和(19使用共享体重)矩阵显示在黑色的矩形。最后,预测价值 每个目标任务是由隐藏状态的计算,结合连接的输入。最重要的变化是将培养目标同时优化多个预报值。的损失函数mt-LSTM框架由表达式(20.)如下:

当训练训练样本在同一时间戳,它将周期任务集在一个随机的方式,直到遍历完成。

4所示。基于LSTM实证分析的股票预测和时间序列模型

4.1。基于长记性不好网络深度学习模型

在本文中,通过多次试验,如图4序列是设置为true时,统一的函数初始化权重。最后,模型输出层设置。神经网络输出层由两个完全连接层,密度,LSTM神经网络输出预测数据层,即股票指数的收盘价。因此,过去密度输出层神经元的个数设置为1。上述模型建立流程使用Keras的连续模型。模型建立后,编译。当训练模型,我们使用亚当优化算法,损失函数均方误差培训模型,两个完整连接层,两个激活功能。激活使用默认的双曲正切函数,并使用小批量训练模式,最初的学习速率设置为0.001,时代的迭代次数为300,批量大小是50。由于不同因素不同的股票市场,为了确保实验的合理性和稳定性的研究模型的预测效果在不同的数据集,本文实证研究的数据上证综合指数(00000 1。上海,100年中国证券(399 903页。SZ)和上海深圳300指数。 According to the experimental results of variable importance score in Chapter 4, the first four input features with the highest importance, trading market OHLC, are selected.


图4
LSTM网络结构的地图。
4.2。优化结构设计参数的长期和短期记忆网络

为了研究预测窗口的长度的影响预测精度,32个神经元连接完整连接层;辍学层参数为0.2,时代的电话号码是300,损失函数是平均误差损失函数,优化算法选择亚当和批量大小设置为50。并尝试使用不同的预测期seqjen,包括7天、14天、21天,30天,60天预测下一个交易日的股票价格。验证集的变化趋势与窗口seqjen RMSE如下。

从图可以看出5数据窗口的长度,SEQ_,和长度的增加,测试集的RMSE增加逐渐减少在21天。测试集的预测误差数据窗长度SEQ_。当长度是7,它是最小的,所以SEQ_的窗口长度模型。Len设置为7天。表1显示了不同的激活函数的组合和优化算法。


图5
验证设置RMSE窗口的趋势W。
表1
结合不同的激活函数和优化算法。

通过综合考虑预测效果的训练集和测试集的最佳组合优化算法选择和激活功能:激活函数的组合ReLU亚当和RMSE测试集上的0.01049和0.00647的美,这也表明,亚当算法学习速度衰减可以提高模型的训练效果。

如图6HS300训练集和验证集LSTM能快速收敛。250倍后,RMSE训练集和测试集达到最低点时,和RMSE测试组下降得更快。


图6
上海和深圳300训练集和验证集。

5。深度学习模型的实验结果的比较

格勒乌网络和RNN神经网络的结构是完全符合LSTM神经网络上面所提到的,除了LSTM层被格勒乌层和简单的RNN层。表2显示了三个深度学习神经网络的参数设置。

表2
深入学习网络参数设置。

CSI 300指数实验结果如下。

从上述模型的实验结果比较,LSTM神经网络的影响的比较,RNN格勒乌神经网络在预测股票收盘价可以总结如下:300年上海和深圳,100年中国证券,上证综合指数网络数据7和8可以掌握股票收盘价格的变化趋势,和LSTM价格曲线预测模型与实际价格曲线基本上是一致的。预测结果是最好的,可以准确地捕捉到价格突变。格勒乌模型的预测精度略低于LSTM,和最糟糕的预测结果是RNN模型,因此预测价格和实际价格之间的偏差很大,导致最终预测模型的预测误差。


图7
对比预测价值和实际价值LSTM CSI 300测试集。

图8
LSTM SSE测试集预报值与实际值。

研究股票价格趋势的影响因素的计算是基于融合LSTM和时间序列模型和最终的效果比较。

研究股票价格指数的不确定性,有必要考虑影响因素对股票价格的影响。这里,利率在宏观因素被认为是代表因素,微观因素和货币增长率作为代表性的因素,如图9。利率对股票价格的影响主要表现为副作用;也就是说,低利率将会对股票价格产生负面影响的三个时期。货币增长对股票价格的影响也是负面的,但延迟小于利率。


图9
LightGBM-LSTM-based股票价格指数脉冲响应函数分析图表。

股票价格预测的敏感性分析是进行一次。这里,我们仍然以重复为代表的宏观因素和货币增长率为代表的微观因素。股票价格预测的灵敏度系数如表所示3。当利率下降1%,预测股票价格下降1.43%,预测股票价格上涨了1.28%每增加1%的货币增长。它可以发现选中的宏观和微观因素对股票价格的预测有影响。

表3
分析宏观和微观的影响因素对LightGBM-LSTM代表股票预期价格。

从表可以看出4LightGBM-LSTM ACC最高价值在四个模型实现,但F1值是最低的。有两个主要原因。从示例中,分类器是overfocused在培训过程。大量类与大量的样本将被忽略,从而导致预测精度下降。在我们的论文中,我们使用阈值划分训练集和确定类别来避免这样的问题。其次,从模型的角度来看,因为格勒乌和RNN预测第二天的兴衰通过分析时间序列前后的关系,总体预测精度很好,但是由于高噪音和股票价格的随机游走特征,它可能误导的方向的预测。平面类的识别度是0,LightGBM-LSTM在这方面要好得多。

表4
LightGBM-LSTM和其他模型的比较表。

6。结论

深度学习框架的架构Keras研究实验,使用基于TensorFlow Keras框架构建LSTM复合模型手术后的原始数据标准化、建立模型结构,然后在沪深300指数连续实验,选择最优的模型结构试验模型根据实验结果,并应用深度学习理论。格勒乌的预测结果结构和基于LSTM RNN模型结构变体在不同的股指数据集进行了比较。最后,格勒乌网络可以大大提高训练速度,但精度却降低了。LSTM组合模型具有良好的预测影响多元和非线性股票价格预测的问题。与集成模型相比,格勒乌和RNN LSTM模型可以大大提高股票价格预测的准确性。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作是支持的研究和黑龙江省哲学社会科学规划项目的中国(glb024 17日)。