非线性自回归神经网络和扩展卡尔曼滤波器预测金融时间序列

摘要

时间序列分析和预测是找到自己的领域应用广泛，包括金融，生物学，经济学，气象重大科学难题，等等。获得用最少的预测误差的方法是金融市场和投资分析的难题之一。状态空间模型是一大类的时间序列和其他数据的统计推断的高效，灵活的方法。神经网络分析时间序列尤其是当它是非线性，非平稳的一个重要工具。对于箱詹金斯法，神经网络和扩展卡尔曼滤波的研究必不可少的工具放在一起。我们研究了非线性自回归神经网络方法作为金融时间序列预测技术和扩展卡尔曼滤波算法的应用，提高了模型的准确性。作为一个真正的应用实例中，我们分析了790天的时间超过其他现有的方法，建立这种方法的优越性时间序列每日价格的钢材。仿真结果使用MATLAB和R软件表明，该模型能够产生合理的精度的。

1.介绍

预测起到的几个方面，其中经济领域的管理具有重要作用。预测金融时间序列是非常嘈杂和非平稳是金融运营商在他们的最好的利润投资的一个主要问题。我们的目标是要连接数据来预测短期或中期数值模型关系。适用于时间序列分析的几个技术假设，其中变量之间的关系的线性箱和詹金斯[1，2]的方法，通过五个阶段的时间序列建模的最流行的方法之一：（1）选择一个类的模型来表示系列，（2）模型的类型的识别，（3）的系数的估计所识别的模式，（4）所选择的模型的验证，和（5）的该系列在给定的地平线的预测。

在现实中，金融系列呈现显著违规行为，所以我们采取更加复杂的技术，如扩展卡尔曼滤波器（EKF）3，4]，其中包括一组模拟非线性关系的数学方程。卡尔曼滤波已应用于经济计量学的情况下，确定性系统是未知的，必须估计的数据，见例如恩格尔和沃森(1987)。卡尔曼滤波算法被证明是提高模型输出的另一个工具[3]。

其中最有前途的方法是已经被引入到解决复杂的分类问题的神经网络。它们的特点是他们的学习能力（监督与否）从实例，然后推广到没有被呈现给他们的数据。神经网络可以被看作是一个黑盒子，学会输入模型映射到合适的输出模式。学习是通过改变神经元连接权重来提高输入和输出模式之间的期望的匹配来完成的。

1943年McCulloch和Pitts引入简化神经元后[五]，作为生物神经元模型，几年后，正是在1957年，布拉特的感知被赋予称为学徒“感知规则。”但是感知的缺点是，所有的函数，它实现是线性可分。这是在1969年明斯基和帕尔特走近感知的缺点在他们的书“感知” [6]这将导致研究在未来十年内休息。

在80年代，我们看到人工智能技术的爆炸式发展，物理学家Hopfield的两篇文章[7]。近年来，神经网络已经找到了时间序列建模广​​泛使用（Chakraborty等人，1992年，维真德哲申费尔德1993年，1993年冈赛，Hoptroff 1993年）。

大多数用于经济预测的神经网络是分层组织的，所以我们称之为MLP(多层感知器)[8，9]。在金融领域，神经网络给在预测了良好的效果。

本文开头描述的时间序列分析，并给出了神经网络的想法的部分。

第二部分提供的扩展卡尔曼滤波器的描述和扩展卡尔曼滤波器和神经网络之间所提出的组合。不同研究的模型和应用以及所提出的模型，以每日钢材价格的它们之间的比较，提出在第三部分。结果和他们的讨论在第四部分讨论。

2.时间序列和神经网络

2.1。时间序列

时间序列是一个随时间变化的参数(价格、成本、周转率、库存等);它是一组观察量，根据它们的指数排序。在下面，我们将有一个注意的系列:

时间序列的研究能够分析，描述，随着时间的推移解释的现象，并提请决策的后果。一个的时间系列研究的主要目标是预测其由从它的观测值预测该系列的未来值的。

在时间序列分析中，平稳性的概念是必不可少的。一个固定系列是一个系列，其属性是随着时间的变化保持不变。我们导致了下面的定义。

定义1。一个随机过程（ 是(弱)平稳的，如果对于任何有限的瞬间序列 ， ，和任何整数 ，联合法 不依赖于 。

定义2。一个过程 （ ）是固定的，如果：（1） ， （独立于 ）（2） ， （独立于 ）（3） ， ， （独立于 ）。

总之，如果所研究的随机过程的统计特性在测量期间改变，这是说，后者是不稳定。平稳性可以概括为时间同质性。

2.2。神经网络

当权值根据输入和期望输出之间的关系沿层调整时，网络学习就发生了。其中最基本的模型之一是多层反射网络(MLP)，它在许多应用中被广泛用于描述自变量和因变量之间复杂关系的非线性函数的近似。

首先引入多层感知器(MLP)来解决复杂的分类问题。但由于它们的普遍近似性质[9]，他们很快就作为非线性回归模型，然后将时间序列建模和预测。

然而，这些模型的估计和识别使用先进的技术，这是不容易确定正确的架构。事实上，这些模型是通过定义overparametrized，被最小化的误差函数有很多局部极小，并且实现是非常困难的。

非线性自回归神经网络（NAR），如图所示1可以训练预测一个时间序列从该序列过去的值 所谓的反馈延迟，用为时滞参数。

该网络的建立与开环的训练，使用真正的目标值作为响应，使更大的质量非常接近真实的数字在训练肯定。训练结束后，所述网络被转换为闭环和预测值被用来提供新的响应输入到网络上。非线性自回归神经网络用于时间序列预测，描述了一种不连续的，可以以这种形式被写入非线性自回归模型：

功能未知提前，和神经网络的训练旨在通过网络的权重和神经元偏差的优化手段近似的功能。

这样的模型（NAR）由所述类型的方程精确限定的 哪里是条目的数量，与激活函数隐藏层的数目 ，和是对应于所述输入单元之间的连接的权重参数和隐藏单元 ， 是隐藏的单元之间的连接的权重和输出单元，以及和这些常数分别对应于隐藏单位吗和输出单元。

该架构的优化目的是减少尽可能突触（权重）和神经元的数量，以降低网络的复杂性，提高计算时间，保持泛化能力。关于网络结构的优化，两种主要的方法已经提出在文献：•选择方法：包括用包含大量的神经元的复杂网络的结构开始的，那么这种方法是尝试以减少不必要的神经元的数量和期间或在学习结束删除冗余连接•渐进的方式：我们先从最简单可行的网络，那么我们增加神经元或层，直到我们有一个最佳的架构

一种有效的方法是利用一组不用于构造预测器的数据来估计预测误差。，而不是用于学习。这个数据集称为测试集。

划分数据集分为三种目标的时间步长，如下所示：•训练:在训练时将这些数据集呈现给网络，并根据其误差对网络进行调整•验证：这些数据集用于衡量网络推广，并停止训练的时候泛化停止提高•测试：这些数据集对培训没有效果，期间和之后的培训等提供的网络性能的独立指标。

3.扩展卡尔曼滤波

卡尔曼滤波（KF）是一种技术，给出了使用一系列含有统计噪声测量未知变量的估计。它做的事情，处理新的数据到达时被适用于在线实时处理的递归方法。的KF只能与线性方程组的工作，当所考虑的系统是非线性的，扩展卡尔曼滤波器（EKF）被施加。

所述EKF的简短描述在下面给出。考虑由下面的公式2所描述的非线性系统： 哪里是描述系统状态的向量，被观测矢量（通过系统的直接测量而获得的值），是过程噪声向量，为测量噪声向量，是一个非线性函数，它给出了系统的状态转移，然后是观察（非线性）函数。

卡尔曼滤波器给出了未知的状态的递归估计的方法基于所有观测值到时间[10]。

卡尔曼滤波器可用于神经网络预报的改善。从时间的过滤器的演变至由下式表示:（1）初始化:

同是误差协方差矩阵（2）该 -个预测步骤：

哪里 为过程噪声协方差矩阵。（3）该 -个校正步骤： 哪里是变量的实际值，为预测值，的雅可比矩阵是功能，是雅可比矩阵功能是被称为卡尔曼增益矩阵排列如何容易地将过滤器调节到可能的新的条件或数据的类型的交替。

3.1。提出预测模型

金融时间序列是非常嘈杂和非平稳，这两个约束的存在推我们提出预测（NAR-EKF），它是扩展卡尔曼滤波器（EKF）和多层感知器（MLP）非线性自回归神经之间的组合的模型网络（NAR）。

利用扩展卡尔曼滤波和神经网络(NAR-EKF)对时间序列进行预测的主要思想是利用扩展卡尔曼滤波处理的数据系列作为输入的非线性自回归神经网络（在部分所述2.2），根据下面的步骤：•步骤1：一组历史数据的收集•步骤2：这些数据被使用扩展卡尔曼滤波器来创建具有良好的近似特性的评价版本•步骤3:训练和验证非线性自回归神经网络模型•步骤4：所创建的神经网络模型，用于预测数据

3.2。评价标准

各种性能指标可以被用来评估模型表演。在这项研究中，性能指标如平均绝对误差（MAE），均方根误差（RMSE），和确定的系数用于评估模型结果。（一世） （ⅱ） （ⅲ） (iv)同

4.对真实世界时间序列的分析

4.1。数据说明

在此研究中使用的数据表示和2013 2016之间的每日价格钢的这些数据是从所收集的https://www.investing.com/网站

数字2示出了每天的钢2013年1月和2016年三月非平稳系列之间价格是一个其通常增加（减少）随时间;此图显示了观察该曲线随着时间的推移稳定地减小，从而揭示的长期趋势的存在。这一系列的不稳定性（图1）由迪基-富勒试验证实（ ）和Phillips-佩隆（ ）[11，12]。

为了克服这个问题，该系列每日价格的钢材转化为日常系列钢材价格的对数的差异。该系列钢材价格的日收益的平稳（图3）由迪基-富勒试验证实（ ）。

4.2。箱詹金斯分析中的应用

在本节中，我们将每日钢材价格模型。数据被居中并还原，然后用于开发描述模型。为了找到最合适的模型更好地解释数据，我们使用了箱詹金斯方法来估计表征系列的参数。日常钢材价格的最合适的模型是一个ARMA（1,0）和ARMA-GARCH（1,1）。ARMA（1,0）的参数的估计可以通过几种方法来进行。在这项研究中，他们使用最大似然法对数据集估计[13，14]。

4.3。神经网络与EKF的应用

我们选择了一个非线性自回归神经网络模型应用到我们的时间序列。这个概念是通过使用通过扩展卡尔曼滤波器作为输入的神经网络预处理的数据预测。金融时间序列是高波动和时变的，并且扩展卡尔曼滤波器具有良好的动态实时跟踪特性。该EKF提供的优势是平滑去噪的时间序列。在此之后，平滑的时间序列可以使用非线性自回归神经网络进行预测。•培训：570个观察被用于训练网络•验证：114个观测用于测量网络泛化•测试：在过去76个观测用于测试网络

一些初步测试，使我们能够定义网络的结构。使用25个神经元的隐含层，以及用于隐藏层和输出神经元的激活函数是Sigmoid函数 。我们评估了时滞参数的影响在训练过程中的性能，使用均方误差（MSE）并判定系数评价 ，这是优度配合的量度为所述目标和所述预测之间的线性回归。我们设置从1到6所述的NAR-EKF模型提出了一个非常精确的配合及MSE独立的小的值的在所有6个试验。

网络使用文伯格 - 马夸特反向传播的培训。当概括停止提高，通过增加在验证样品的均方误差指示自动训练停止。在NAR-EKF模型的其它规格如表中提到1下面。

为了比较经典方法、扩展卡尔曼滤波器、非线性自回归神经网络以及扩展卡尔曼滤波器与非线性自回归神经网络的结合，我们采用了相同的评价标准RMSE和MAE。

从一个真实的例子（每日价格钢的）在表中所示的结果2，证明与扩展卡尔曼滤波器非线性自回归神经网络模型的组合允许产生高精度预测比由测试方法获得的。这一结果是一致的，与文献那个状态非线性自回归神经网络模型是长期的时间依赖性不那么敏感，呈现更好的学习能力[12]。

5。结论

本文提出了与扩展卡尔曼滤波器来预测金融时间序列非线性自回归神经网络模型的组合。结果被根据根均方误差（RMSE），并为六个提出的模型的平均绝对误差（MAE）的计算进行比较。

这两种方法（NAR和EKF）对金融系列（这是在日常时间步长）的预测的组合似乎能够改善带来了连续修正的可能性，研究了一系列的预测。

数据可用性

用于支持本研究的结果的数据可从根据请求相应的作者

利益冲突

作者声明他们没有利益冲突。

参考

1. G. FBOX和J. M. JENKINS，时间序列分析：预测与控制Holdenday，旧金山，1970年。
2. R. Y.阿拉贡，系列Temporelles，施普林格，巴黎，第1版，2011。
3. G. Galanis, P. Louka, P. Katsafados, I. Pytharoulis，和G. Kallos，“基于非线性函数的卡尔曼滤波器在数值天气预报中的应用，”年鉴Geophysicae卷。24，没有。10，页。2451年至2460年，2006年。视图:出版商网站|谷歌学术
4. P. J. Bolland和J. T.康纳，“A健壮的非线性多变量卡尔曼用于高频数据套利识别滤波器，” A.-P.N. Refenes，Y.阿布·穆斯塔法，J.穆迪和A. S.维真德，编，第122-135，世界科技。视图:谷歌学术
5. W. S.麦卡洛克和W.皮茨，“在神经活动的思想内在的逻辑演算，”数学生物物理学通报卷。5，没有。4，第115-133，1943。视图:出版商网站|谷歌学术
6. M.明斯基和S.帕尔特，感知：介绍计算几何，麻省理工学院出版社，剑桥，马萨诸塞州，1969年。
7. J. J. HOPFIELD等“神经网络，并与新兴的集体计算能力的物理系统，”美国国家科学院论文集卷。79，没有。8，第2554至2558年，1982。视图:出版商网站|谷歌学术
8. B. Krose和P. V. D. Smagt，简介神经网络，阿姆斯特丹，1996年大学。
9. A. Fiordaliso酒店，内容“Une应用DES RESEAUX去神经元artificiels MLP点菜预知杜大奖赛德UNE选择négociable”提供与预知卷。127，没有。1，第47-62页，1997年。视图:出版商网站|谷歌学术
10. 《季节时间序列的卡尔曼滤波》。电力消耗的应用与预测，"应用统计学评论卷。47，第69-86，1999。视图:谷歌学术
11. E.塞萨尔和B.理查德，Les系列Temporelles，Üniversite电凡尔赛宫，圣 - 昆廷 - 烯伊夫林省，2006年。
12. B.多拉，ProblèmeséconométriquesD'分析DES系列temporelles一个备忘录椅。Économétrie德拉融资2012年，巴黎第一大学(Universite Pantheon-Sorbonne - Paris I)。
13. I. Alon, M. Qi，和R. J. Sadowski，“预测总零售额:人工神经网络和传统方法的比较，”期刊零售和消费者服务卷。8，没有。3，第147-156，2001。视图:出版商网站|谷歌学术
14. 刘海华和石俊杰，“用ARMA-GARCH方法预测短期电价”，能源经济卷。37，第152-166，2013。视图:出版商网站|谷歌学术

版权

Ghassane Benrhmach等人版权所有这是一篇开放获取下发布的文章知识共享署名许可，允许在任何媒体中不受限制地使用、发布和复制原创作品，只要原稿被正确引用。