文摘
自组织模型和采用方法是切换模型的两个传统的识别方法。他们交互更新参数和模型基于离线算法的身份。在本文中,我们提出了一个灵活的递归最小二乘算法构造代价函数基于两种错误:相邻两个参数估计错误和输出估计错误。这种算法在两个传统识别算法:有几个优点:(1)可以估计的参数子模型没有先验知识模型的身份;(2)减少计算工作;和(3)可以与新来的数据更新参数。收敛性能和仿真提供了例子来说明该算法的效率。
1。介绍
最小二乘(LS)算法是应用最广泛的方法在参数估计1- - - - - -3]。它定义了一个成本函数是由真正的输出之间的误差和预测输出。然后,估计可以得到解决的成本函数的导数函数。LS算法具有快速收敛率但与沉重的成本计算工作4,5]。此外,LS算法需要计算矩阵的逆。如果矩阵有高阶或者是坏脾气的,LS算法效率低下(6- - - - - -9]。
为了减少计算工作,避免矩阵求逆,递归最小二乘(RLS)算法是一个很好的选择。RLS算法的基本思想是更新的参数估计使用新到达的数据,也就是说,RLS算法的代价函数是由只有一组数据,而不是所有收集到的数据(10- - - - - -12]。因此,RLS算法减少计算工作,它不需要计算矩阵的逆。然而,RLS算法已经收敛率与LS算法相比慢(13,14]。目的是提高收敛速度,许多改进的RLS算法开发,例如,multi-innovation RLS算法(15,16)和层次RLS算法(17,18]。
虽然RLS算法和修改同行可以用更少的计算确定系统的努力和快速收敛率,他们假设认为模型是一个模型。如果切换模型描述的系统,这些算法效率低下。切换模型广泛应用于工程实践(19,20.]。这样的模型有几个模式与不同的动力特性,以及各种操作条件相关联的模式(21,22]。交换系统识别的困难,《纽约时报》的操作点(模型)身份可能是未知的。确定切换模型,一个人应该首先确定身份的操作点/模型。
自组织模型(SOM)的方法和采用(EM)方法是两个古典识别算法通常用于转换模型(23- - - - - -26]。SOM法介绍了成本函数,对应于每一个被在每一次迭代,和最小的成本函数与真实模型在这个采样时刻(23]。EM算法作为模型的身份隐藏变量和更新这些身份在EM-E步骤;一旦得到身份估计,参数估计计算EM-M一步。这两个步骤运行交互式地直到这两种估计收敛于真实值(27,28]。SOM方法应该在每个迭代计算几个成本函数,和EM算法需要计算模型的身份。此外,这些算法都是离线算法。他们沉重的计算工作和不能更新参数基于新来的数据。
灵活的最小二乘(FLS)算法,首先由Kalaba和Tesfatsion [29日),用于时变系统识别。其代价函数包含两个部分:一是两个参数的误差在两个相邻的瞬间,另一个是真正的输出之间的误差和预测输出30.- - - - - -32]。由于第一个错误,参数估计能赶上变化的参数。灵感来自于FLS的算法,我们开发一个新的FLS的切换算法模型。这种算法称为灵活的递归最小二乘(FRLS)算法。与SOM、EM和FLS的算法,该算法具有以下优点:(1)FRLS算法是一个在线算法,因此它可以更新参数与新来的数据;(2)FRLS算法具有更少的计算工作;和(3)FRLS算法可以估计的参数模型的子模型没有先验知识的身份。
本文的其余部分组织如下。第二部分解释了转换模型和传统的识别算法。第三节提出了离线FLS的算法和在线FLS的算法。第四部分提供了一些仿真例子。最后,第五节总结本文并提出了未来的发展方向。
2。问题陈述
让我们首先定义一些符号:意味着一个适当大小的单位矩阵;的上标代表矩阵的转置;一个矩阵的规范被定义为 ; 矩阵的最大特征值 ;和规范的一个向量 被定义为 。
2.1。切换模式
考虑下面的开关模型: 在哪里的输出是什么 - - - - - -th模型; 向量的信息吗 - - - - - -th模型,它由采样时刻前的输入和输出数据 ; 的参数向量 - - - - - -th模型;是一个高斯白噪声和满足 ;和子模型的数量。
在采样时刻 ,没有身份的知识模型。我们的目标是估计参数向量 基于收集到的数据。
收集输入和输出数据集,定义以下成本函数: 在哪里模型在采样时刻的身份吗 。例如,在采样时刻 ,真实的模型 - - - - - -th模型,然后所有的子模型的身份的真实值 , , 。估计参数,介绍了以下假设。
假设1。收集到的数据的数量大于未知参数的数目,也就是说, 此外,假设的数据的数量 - - - - - -th被是 ;然后,
假设2。切换模型提出了(1),所有的输入数据都作为持续的兴奋。
假设3。所有的子模型有相同的信息向量但不同的参数向量,即切换模型可以写的
备注1。假设1和2可以确保所有的子模型的信息矩阵是满秩(6]。假设3也可以容易获得(33]。例如,对于交换模型未知结构,我们可以使用内核的方法来描述模型,和所有的子模型近似通过使用内核的方法可以有相同的结构。
2.2。传统的识别算法
重写切换的成本函数模型如下:
假设参数估计和身份在迭代估计是 和 。
SOM和EM算法估计参数通过两个步骤:(1)身份估计估计模型 ,基于参数估计 。(2)更新参数估计 基于身份估计模型 。
SOM的区别和EM算法的第一步。SOM算法的身份估计模型是1或0。例如,在迭代的采样时刻 ,让
然后, 和其他身份估计 。
另一方面,在EM算法,让
然后,身份估计可以计算
备注2。SOM和EM算法离线算法;如果系统的订单很大,他们的计算工作重。此外,他们无法与新来的数据更新参数23,34]。
3所示。灵活的递归最小二乘算法
SOM和EM算法更新参数通过两个步骤,这两个步骤是相互关联的。如果一种估计估计精度差,其他的也可能是贫穷或发散。在本节中,我们使用FLS的切换模型的算法,它可以估计模型的参数没有先验知识的身份。
3.1。离线FLS的算法
定义
然后,切换模型可以写成
让
与SOM和EM算法、离线FLS的算法的代价函数写的
收益率使用FLS的算法来更新参数
备注3。从方程(5),我们可以得到离线FLS的(O-FLS)只有一个迭代算法可以估计参数,不需要模型识别评估。然而,它增加了订单的信息矩阵集中。例如,信息矩阵的顺序O-FLS算法,而在新兴市场和SOM方法,顺序 。
备注4。离线FLS的(O-FLS)算法需要一个高阶矩阵求逆计算,例如, 。当高阶矩阵是奇异的或坏脾气的,计算它的逆矩阵是不可能的。
3.2。灵活的递归最小二乘算法
减少计算工作,避免高阶矩阵求逆,本节提出了一种在线FLS的算法称为灵活的递归最小二乘(FRLS)算法。
假设在采样时刻的参数向量是 。定义以下成本函数:
在采样时刻 ,所有的参数估计已经获得,因此(15)简化为
的导数关于收益率
接下来,我们使用递归的方法来获得之间的关系和 。
(17)转换成
然后,FRLS算法可以概括如下:
备注5。与O-FLS算法相比,FRLS算法执行低阶矩阵求逆,而不是高阶矩阵求逆。因此,FRLS算法不如O-FLS算法(算法计算工作1)。
然后,列出了FRLS算法的步骤如下。
|
引理1。的矩阵 , ,和 ,如果矩阵平等是满秩的,以下是适用的:
证明。的矩阵
,我们有
此外,我们可以获得
然后,完成证明。
根据引理1,矩阵被简化为
注6。基于方程(15),在每个采样时刻,稠密矩阵反演转化为向量乘法。因此,降低计算的工作量。
3.3。收敛性能的两种FLS的算法
O-FLS和FRLS算法的收敛性质给出了在这一节中可以帮助研究人员遵循这两个算法。
3.3.1。O-FLS算法的收敛性能
定理1。切换模型提出了(1),参数估计更新的O-FLS表达的算法(5)。然后,是有偏见的。
证明。重写O-FLS算法如下: 替换 上述方程的收益率 在哪里是高斯白和独立 ,和上面的方程可以写的 自 ,矩阵是单数,矩阵不能为零的矩阵。因此,O-FLS算法是一个偏置算法。
注7。一个小可以得到更精确的参数估计。然而,一个小可能导致收敛率慢之间的两个相邻的子模型。因此,我们应该指定不同的值 。例如,在固定的时间间隔,一个小是更好的,而附近的切换点,一个更大的一个是更好的。
3.3.2。FRLS算法的收敛性能
定理2。切换模型提出了(1),参数估计更新的FRLS表达的算法(10)- (12)。然后,序列是收敛的。
证明。FRLS算法写的 假设的数据 属于模型1,减去的真正价值在上面的等式两边的收益率 的原因, 我们有 因此,FRLS算法是收敛的。
注8。FRLS算法的假设数据是不变的身份在一个固定的时间间隔。如果身份变化不断,FRLS算法是发散的。
4所示。例子
4.1。示例1
考虑下面的开关模型:
让
在模拟中,我们收集500集的输入和输出数据,数据从哪里来的 那些从属于模型1, 属于模型2。
使用FRLS算法切换模型。参数估计数据所示1和2。预测输出和真正的输出,错误是如图3所示。此外,应用EM和SOM算法切换模型,为每个被最初的身份在哪里 和 。三种算法的估计错误和运行时间表所示1。
从这个仿真,我们可以得到以下结果:(1)参数估计使用FRLS算法可以渐近收敛于真实值(参见图1和2)。(2)预测的输出使用FRLS算法可以抓住真正的输出(参见图3)。(3)数据的数量在一个固定的时间间隔必须大于未知参数的数目。(4)FRLS, EM和SOM算法切换模型是有效的,但FRLS算法有最小的运行时间,也就是说,FRLS算法计算最少的努力在这三个算法,如表所示1。
4.2。示例2:打开通道切换系统
在本节中,我们考虑一个开放的渠道体系,如图所示4。通道的半径 ,渠道的长度 , 在上游端放电,是在下游端放电,斜率是吗 。确保放电流动在一个固定的速度,我们应该控制 。之间的关系和由一个线性模型可以表示。在模拟中,两个斜坡 和 度被分配到开放的渠道体系。这两个斜坡导致两种不同的动力学这应该由两个模型描述:[14]:
我们收集2000套使用Matlab软件,输入-输出数据序列是由
的数据 那些从属于模型1, 属于模型2。
应用FRLS算法考虑切换模型。参数估计和估计错误 ,如图5和表2和3。
此外,我们使用传统的明渠切换系统EM和SOM算法 。所示的参数估计及其估计错误数据6和7。这三种算法的运行时间表所示4。
这个例子表明,(1)FRLS,哦,和SOM算法是收敛的,如图5- - - - - -7;(2)FRLS算法这三个算法之间的最小运行时间,这是显示在表4至少,即FRLS算法计算工作中这三种算法。
5。结论
一个在线FLS的算法,称为灵活的递归最小二乘(FRLS)算法,提出了转换模型在这个研究。其成本函数由两个邻国之间的误差参数估计和真正的输出之间的误差和预测输出。这两个邻国的帮助下参数估计错误,操作点的开关模型可以确定,和每个被的参数也可以被获得。与SOM和EM算法相比,FRLS算法可以估计模型的参数估计没有先验知识的身份。此外,FRLS算法是一个在线算法,减少计算工作和与新来的数据可以更新参数。
虽然FRLS算法在传统识别算法有几个优点,一些具有挑战性的问题FRLS算法需要考虑在未来。不断切换,例如,如果子模型如何应用FRLS算法切换模型?如何选择一个合适的吗使FRLS算法收敛迅速正确的价值观?这些主题保持开放的问题。
数据可用性
所有生成的数据或分析在本研究中包括这篇文章。
的利益冲突
作者宣称没有利益冲突。
确认
这项研究得到了江苏省自然科学基金(没有。BK20131109)。