Tikhonov正则化变量投影算法可分离的非线性最小二乘问题

文摘

本文认为经典的可分离的非线性最小二乘问题。这样的问题可以表示为一个非线性函数的线性组合,线性和非线性参数估计。在现有的结果,坏脾气的问题通常被认为是较低。因此,本文的重点是坏脾气的问题的一个算法。在提出的线性参数估计过程中,模型扰动的敏感性降低使用Tikhonov regularisation。Levenberg-Marquardt算法用于非线性参数估计。LM所需的雅可比矩阵计算的Golub Pereyra,考夫曼和Ruano方法。结合非线性和线性参数估计方法,得到了三种评估模型和模型的可行性和稳定性评估。验证了该模型的模拟数据和真实数据。实验结果也说明了模型的可行性和稳定性。

1。介绍

可分离的非线性最小二乘问题是一种特殊类型的非线性最小二乘问题。Golub提出和Pereyra估算公式的参数对原子物理离子半衰期(1]。可分离的非线性最小二乘模型,估计模型可以表示为一个线性组合的非线性问题。

利用可分离的非线性最小二乘问题的特殊结构,在1973年,Golub和Pereyra提出变量投影(VP)算法(1],它消除了线性参数和简化了问题为一组非线性参数估计问题。这种方法也降低了计算复杂度。与相应的算法直接解决方案相比,副总裁算法具有较少的迭代步骤和初始点猜测。此外,当最初的问题是不适定,可以减少病态性的程度(2- - - - - -5]。随着研究的进展,许多实际工程问题的数学模型可以表示为可分离的非线性最小二乘,例如,在逆问题和信号处理中存在的问题,医学和生物成像,神经网络,通信,电气和电子工程和微分方程动力系统(6- - - - - -15]。

1980年,孩子们和Wedin分析参数的分离和nonseparation和得出的参数分离方法更简单、更有效16]。1990年,沈和雅普玛所著利用变量投影方法将一个可分离的非线性最小二乘问题转换为一个案例只包含非线性参数,提高了计算效率的函数(17]。2003年,Golub和Pereyra总结可分离的非线性最小二乘的开发和应用在过去的30年里(18]。近年来,许多研究和应用的可分离的非线性最小二乘问题得到不同的结果。陈研究了非线性的四个参数正弦波模型和使用变量投影法计算它。实验表明,收敛速度与频率参数有很强的关系(19]。钟和伊可分离的非线性最小二乘法应用于大规模病态问题和改进图像处理的失真问题[20.]。

有大量的研究成果可分离的非线性最小二乘法,但有潜在的坏脾气的问题研究相对较少的参数。当一个奇异值非常小,最小二乘模型可能是坏脾气的。Regularisation是一个常用的方法来解决坏脾气的问题,导致回归系数较小的方差值,因此可能解决病态问题[21- - - - - -28]。的Tikhonov regularisation (TR)方法(21- - - - - -23),截断奇异值方法(24,25基于函数),内核regularisation方法(26,27),而规范regularisation方法(28)通常用于解决病态问题。非线性参数估计时,迭代搜索方法如高斯牛顿法,最速梯度法,LM方法是常用的29日- - - - - -34]。在这些方法中,雅可比矩阵有很强的影响算法的计算效率。

提出了一种混合VP-based算法结合了LM和TR的方法和评估的影响不同的雅可比矩阵算法的精度和效率。TR法用于规范线性参数估计和LM算法估计的非线性参数可分离的非线性最小二乘问题。使用三种方法计算雅可比矩阵:Golub和Pereyra (GP),考夫曼(考),Ruano (RJF)。本文提出的算法结合了LM算法的优势与regularisation方法,可以提高评估效率。模型验证使用两个例子:指数拟合和波形参数的确定对机载雷达测深数据。

2。副总裁模型及其参数估计方法

2.1。副总裁模型

可分离的非线性最小二乘模型可以表示如下形式: 在哪里 是非线性函数; , 观测数据;有关变量吗 ;和 和 分别是线性和非线性参数估计。

最优参数和可以通过下面的非线性函数:

上面的公式可以用矩阵表示如下: 矩阵的列向量在哪里是一个非线性函数 ,向量的元素是 ,和是欧几里得范数。对于给定的非线性参数 ,线性参数可以通过求解非线性最小二乘问题如下: 在哪里的伪逆 。如果是可计算的,那么(4)可以解决。因此,的前提下(4是矩阵非奇异的,但在某些情况下这一前提是不正确的。

2.2。测定的线性参数

不失一般性,电力系统可以表示为 在哪里 , ,和 。

我们可以进行奇异值分解) ,可以表示为哪一个 在哪里 和 是酉矩阵组成的列向量。 , , 。此外,的奇异值吗 。使用奇异值分解来解决(5),我们得到

减少干扰计算方法的敏感性,过滤因子可以添加。添加过滤因子的计算形式

不同的过滤因素将导致不同的regularisation方法,和TR法是一个广泛应用的方法35,36]。过滤因子通过TR方法可以表示为 ,和(8)可以表示为

2.3。确定的非线性参数

对矩阵 ,雅可比矩阵的一阶导数是吗 :

假设

矩阵可以表示为

可以计算雅可比矩阵在以下三个方面:(1)Golub和Pereyra给出的计算方法如下: 在哪里邻导的地图。此外,是对称的广义逆的满足和(2)考夫曼提出以下简化计算雅可比矩阵方法在研究(13): (3)Ruano提出了一个更简单的计算方法,基于考夫曼的雅可比矩阵的方法:

Ruano et al。37]证明(15)是有效的,可以获得来自考夫曼的雅可比矩阵(14)。它可以证明,相同的梯度向量可以通过上述三个雅可比矩阵(38]。

以下方程可以用于迭代非线性参数: 在哪里是一个标量步长,确保目标函数减少,是搜索的方向。在LM算法,可以由以下方程(39]: 在哪里是最小的非负整数满意(17), , ,和 。

可以由以下方程: 在哪里阻尼因子和影响梯度和 。如果趋于无穷时,倾向于最快的方向。如果倾向于零,倾向于高斯牛顿方向。有很多选择阻尼因子的方法(40]。在获得 ,搜索方向可以得到解决(17)。步骤参数可以通过一个线性搜索算法与混合二次插值法和三次插值(41- - - - - -43]。

结合上述方法为线性和非线性参数,三个算法可以获得。LM算法用于非线性参数,和医生的三种方法,考,RJF用来计算雅可比矩阵的算法。对于线性参数,使用TR法。公式如下:

此外,具体算法如下:步骤1:初始值非线性参数,预先确定的最大迭代数的步骤和错误步骤2:计算的初始值使用TR的线性参数的方法(5)和(9)步骤3:交替更新的非线性参数和线性参数第四步:重复第三步,直到迭代的最大数量的步骤达到或

3所示。数值实验

本研究中使用的实验环境是MATLAB 2016 b,运行在个人电脑配备了2.30 GHz CPU、4 GB的内存,操作系统Windows 10。

3.1。Index-Fitting模型

两个实验被用来评价本文提出的三种算法。第一个实验是来源于观察放射性物质的衰变。模型描述的总和指数两个未知的衰减因素和写如下: 在哪里和是线性和非线性估计未知参数,分别。此外,还有21和相应的观察 , 。我们减少以下函数根据最小二乘法的原理:

根据函数矩阵的构成在第二部分中,非线性函数可以表示为一个矩阵形式为一部分 。计算之后,对 ,线性参数的估算值获得(9)。对非线性参数,目标函数 首先是由(12),然后获得了雅可比矩阵的三种不同的方法,和LM算法替换成(16)确定参数。当迭代,我们设置的初始值 ,最大数量的迭代步骤100, 。上执行计算收益率奇异值的1.8480和0.3586。

图1显示了观察和拟合曲线。

观察值的曲线符合三种方法的结果很好。曲线通过三种方法基本上是相同的,说明这三种方法都是可行的,结果是可靠的。

图2显示参数的变化和对迭代的数量。

如图2显示, ,两种方法的参数变化曲线副总裁_{GP + TR}和副总裁_{RJF + TR}基本上都是相同的,和指定的精度可以达到9个迭代。视觉上,很明显,经过五迭代,解决方案是非常接近最终结果。相比之下,副总裁_{考+ TR}法达到的最大迭代数(100)。然而,经过30迭代,即使结果变化小,它接近最终结果。

为 ,两种方法的参数变化曲线副总裁_{GP + TR}和副总裁_{RJF + TR}也基本相同,后指定的精度也达到九个迭代。图表显示,后四个迭代,解决方案是非常接近最后的计算结果。副总裁_{考+ TR}方法达到的最大数量的计算,但解决方案接近20迭代后的最终结果。

表1列出了三种方法获得的结果参数。

表中显示,曲线在图1,由三种方法获得的结果基本上是一样的。

表2给出了运行时(以秒为单位),迭代次数、剩余金额,均方根误差(RMSE)三种方法。

定量指标(剩余金额和RMSE)相等,很小,表明这三个算法实现相同的计算精度,这是相对较高的。它们之间的区别仅仅是迭代次数和运行时。副总裁_{GP + TR}方法接受最长的计算,因为这种方法使用最复杂的方式来计算雅可比矩阵。相比之下,副总裁_{RJF + TR}是一个简单的雅可比矩阵的计算方法。然而,满足精度要求,迭代的数量也大,因此计算时间也长。副总裁_{考+ TR}有些简化了雅可比矩阵的计算方法,并在某种程度上,保证计算的准确性,所以运行时是最短的。对于这个模拟实验,副总裁_{考+ TR}方法执行最好的方法。

3.2。机载激光雷达探测数据的波形参数计算

第二个实验中使用激光雷达探测波形数据。获得的实验数据是飞行实验数据从三亚城市附近的飞越大海,海南,中国。

波形样本数据被存储为一个数组,并分别记录每个样本点的振幅。给出了样本信息作为“波形”形成一个二维平面上。机载激光系统记录离散回声模拟“波形”的原始采样数据使用最合适的功能模型。提高测深精度,它是非常可取的选择一个高精度的理论模型。

这个实验共有320波形数据和函数模型如下:

选择合理的数据可以有效地减少噪声的影响。在这项研究中,我们选择了一些数据没有错误。我们42中提取数据从波形数据来确定参数。当迭代,我们设置的初始值 ,100年最大数量的迭代步骤,和错误 。圣言为产生了奇异值的6.5941和1.9585。

表3列出了模型参数的计算结果。

表中给出的结果表明,三种方法的结果基本相同,说明这三种方法都是可行的方法。结果获得的副总裁_{RJF + TR}略不同于其他两种方法,因为这种方法简化了计算雅可比矩阵最多,导致差距。

图3显示了模型的拟合曲线。

在图3所有三种方法适合曲线,也直观地说明了这三种方法的可行性。

图4显示参数的变化和对迭代的数量。

结果在图4显示的参数和 ,当错误 ,五个迭代后的参数变化基本稳定。这表明这三种方法的收敛性是快速和准确。

表4列出了运行时(以秒为单位),迭代次数,均方根误差(RMSE)。

为 ,迭代次数和RMSE(即。,the convergence speed and accuracy) of these three methods are basically the same. With respect to runtime, the VP_{GP + TR}方法又需要最长的因为它的雅可比矩阵的计算。因此,相同数量的迭代需要更长的时间。同样,副总裁的雅可比矩阵_{RJF + TR}方法是最简单的,需要最短时间来计算。的副总裁_{考+ TR}方法,计算复杂度之间的其他两种方法,它需要适量的时间来计算。

4所示。结论

可分离的非线性最小二乘问题,本文建立了一个解决方案模型组成的LM算法结合TR。线性参数估计、模型扰动的敏感性是减少了TR方法。非线性参数估计,采用LM算法和计算雅可比矩阵Golub Pereyra,考夫曼和Ruano方法。结合非线性和线性参数估计方法,得到了三种评估模型和模型估计的稳定性和准确性。模型的仿真数据验证了实验部分3.1和真实数据实验部分3.2。实验结果也说明了该模型的可行性。

在未来的研究中,我们将应用VP的雅可比矩阵分解算法。这个分解可以简化模型,提高算法的效率。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

这项研究得到了国家自然科学基金(批准号41774002)和科研基金项目的引进人才山东科技大学(批准号2015 rcjj022)。

引用

1. g·h·戈卢布和诉Pereyra”,伪逆的分化和非线性最小二乘问题的变量不同,“暹罗在数值分析》杂志上,10卷,不。2、413 - 432年,1973页。视图:出版商的网站|谷歌学术搜索
2. y赵和w·张Observer-based奇异随机马尔可夫跳跃系统的控制器设计与国家相关的噪音,“《系统科学和复杂性卷,29号4、946 - 958年,2016页。视图:出版商的网站|谷歌学术搜索
3. 凌,x程,t .江”coneigenvalues和coneigenvectors的四元数矩阵的算法,”应用克利福德代数的进步,25卷,不。2、377 - 384年,2015页。视图:出版商的网站|谷歌学术搜索
4. t . j . Chen, z . Zhang et al .,“稳定和奇异马尔科夫跳延迟系统输出反馈控制,”数学及控制相关领域,8卷,不。2、475 - 490年,2018页。视图:出版商的网站|谷歌学术搜索
5. x, y,和w·张,“随机线性二次最优控制与约束的离散时间系统,”应用数学和计算卷,228年,第270 - 264页,2014年。视图:出版商的网站|谷歌学术搜索
6. k . y . Zhang Lv, s . Wang j . Su和d·孟”建模在酿酒酵母基因网络基于基因表达谱,”计算和数学方法在医学文章ID 621264卷,2015年,10页,2015。视图:出版商的网站|谷歌学术搜索
7. 周宏儒。马和t .侯”,分离定理随机奇异线性二次控制问题部分信息,“Acta Mathematicae Applicatae学报,英语系列卷,29号2、303 - 314年,2013页。视图:出版商的网站|谷歌学术搜索
8. 徐黄叮,h . x, j . Wang“多项式平滑双子支持向量机,”应用数学与信息科学,8卷,不。4、2063 - 2071年,2014页。视图:出版商的网站|谷歌学术搜索
9. z, m .田z . Liu和t .徐雅可比矩阵方程和Gauss-Seidel-type迭代方法ax = b=C”,应用数学和计算卷,292年,第75 - 63页,2017年。视图:出版商的网站|谷歌学术搜索
10. y王”,除了正则半群,“半群论坛,卷92,不。2、414 - 448年,2016页。视图:出版商的网站|谷歌学术搜索
11. 黄马和b”,优化冲压成形工艺参数的汽车低地板,“应用数学学报ID 470320条,卷。2014年,9页,2014。视图:出版商的网站|谷歌学术搜索
12. j·德·耶稣卢比奥,e·加西亚,a . Gustavo c . Aguilar-Ibanez j .帕切科和j·a . Meda-Campana“递归最小二乘的操纵者通过示范,学习”航空杂志上Iberoamericana德自动化E Informatica工业,16卷,不。2、147 - 158年,2019页。视图:出版商的网站|谷歌学术搜索
13. j·d·j·卢比奥,”SOFMLS:在线自组织模糊最小二乘修改网络”,IEEE模糊系统,17卷,不。6,1296 - 1309年,2009页。视图:出版商的网站|谷歌学术搜索
14. c . n .武元甲l . h .儿子,f . Chiclana“动态神经网络结构,”《智能与模糊系统,34卷,不。4、2479 - 2490年,2018页。视图:出版商的网站|谷歌学术搜索
15. j·d·j·卢比奥e . Lughofer j . a . Meda-Campana洛杉矶目前,j . f .诺沃亚和j·帕切科,”神经网络更新通过参数建模Takagi-Sugeno模糊模型的卡尔曼滤波器,”《智能与模糊系统,35卷,不。2、2585 - 2596年,2018页。视图:出版商的网站|谷歌学术搜索
16. 答:孩子和p . Wedin,“可分离的非线性最小二乘问题的算法,暹罗审查,22卷,不。3、318 - 337年,1980页。视图:出版商的网站|谷歌学术搜索
17. y .问:沈y . j .雅普玛所著,“解决非线性系统方程只有一个非线性变量,“计算和应用数学杂志》上,30卷,不。2、235 - 246年,1990页。视图:出版商的网站|谷歌学术搜索
18. g . Golub和诉Pereyra”,可分离的非线性最小二乘:变量投影方法和它的应用程序,“逆问题,19卷,不。2、112 - 124年,2003页。视图:出版商的网站|谷歌学术搜索
19. k·f·陈,“估计参数正弦波的可分离的非线性最小二乘拟合,“IEEE仪表和测量卷,59号12日,第3217 - 3214页,2010年。视图:出版商的网站|谷歌学术搜索
20. j .钟和j·g·伊”,一种有效的迭代方法对大规模可分离的非线性逆问题,“暹罗期刊在科学计算没有,卷。31日。6,4654 - 4674年,2010页。视图:出版商的网站|谷歌学术搜索
21. 彭译葶。汉族,F.-Y。郑,T.-D。他郭,g .,“大规模线性约束的最小化问题的并行算法”,Acta Mathematicae Applicatae Sinica-English系列,30卷,不。3、707 - 720年,2014页。视图:出版商的网站|谷歌学术搜索
22. 马z . j . Chen, y,“外地对称,达布变换和soliton-cnoidal波浅水波方程的互动解决方案,“《数学分析和应用程序,卷460,不。2、987 - 1003年,2018页。视图:出版商的网站|谷歌学术搜索
23. 梁x, y, d .田和f .壮族“粒子群优化使用维度选择方法,”应用数学和计算,卷219,不。10日,5185 - 5197年,2013页。视图:出版商的网站|谷歌学术搜索
24. j . Tang g .他l .董l .方和j .周”的光滑牛顿法二阶锥互补问题,“数学的应用,卷。58岁的没有。2、223 - 247年,2013页。视图:出版商的网站|谷歌学术搜索
25. 王m . j . Yu, y, g .他“分解方法大规模箱约束优化,”应用数学和计算卷,231年,页1 - 12,2014。视图:出版商的网站|谷歌学术搜索
26. j·朱和h·宾宾,”平滑函数的一个新类和平滑牛顿方法互补问题,“优化信,7卷,不。3、481 - 497年,2013页。视图:出版商的网站|谷歌学术搜索
27. 庞,t·李,f·戴和m . Yu”粒子群优化算法multi-salesman问题时间和能力的限制,“应用数学与信息科学,7卷,不。6,2439 - 2444年,2013页。视图:出版商的网站|谷歌学术搜索
28. g . j . Tang他、l .董和l .方”的新一步光滑牛顿法二阶锥规划,“数学的应用卷,57号4、311 - 331年,2012页。视图:出版商的网站|谷歌学术搜索
29. z z, l .方和g .他,”一个迭代路径跟踪方法,基于广泛的社区和大型更新二阶锥规划,“优化,卷63,不。5,679 - 691年,2014页。视图:出版商的网站|谷歌学术搜索
30. c . Liu y商,p .汉,“一个新的infeasible-interior-point线性规划算法在对称锥,”Acta Mathematicae Applicatae学报,英语系列,33卷,不。3、771 - 788年,2017页。视图:出版商的网站|谷歌学术搜索
31. d . z彭日成,g . Liu周,d .太阳,“基于数据的网络化的非线性系统预测控制数据包辍学和测量噪声,”系统科学与复杂性,30卷,不。5,1072 - 1083年,2017页。视图:出版商的网站|谷歌学术搜索
32. z田,m .田古,x,“加速Jacobi-gradient西尔维斯特矩阵方程解的迭代算法为基础,“Filomat没有,卷。31日。8,2381 - 2390年,2017页。视图:出版商的网站|谷歌学术搜索
33. j·朱和h·宾宾,”一个新的noninterior延续法求解系统的平等和不平等,”应用数学学报592540卷,2014篇文章ID, 6页,2014。视图:出版商的网站|谷歌学术搜索
34. C.-Q。苗”,计算特征增强维子空间由Jacobi-Davidson校正方程,”计算和应用数学杂志》上卷,343年,第372 - 363页,2018年。视图:出版商的网站|谷歌学术搜索
35. 林z赵,f, y, w .方和研究。王”,改善rao-blackwellized粒子滤波的粒子群优化,“应用数学学报ID 302170条,卷。2013年,7页,2013。视图:出版商的网站|谷歌学术搜索
36. t .江,江z和凌,“四元数的一种代数方法和复杂的最小二乘coneigen-problem在量子力学中,“应用数学和计算卷,249年,第228 - 222页,2014年。视图:出版商的网站|谷歌学术搜索
37. A . e . b . Ruano d·j·琼斯,p . j .弗莱明”的新formulaion神经例子控制器的学习问题,”诉讼IEEE 30日的会议上决定和控制布莱顿,页865 - 866年,英国,1991年12月。视图:出版商的网站|谷歌学术搜索
38. g . j . Tang他和l .方”一个新的non-interior延续二阶锥规划的方法,”数值数学杂志,21卷,不。4、301 - 323年,2013页。视图:出版商的网站|谷歌学术搜索
39. x曾庆红,h .彭、f .周和y Xi,“实现正规化的可分离的非线性最小二乘问题,“应用软计算,60卷,第406 - 397页,2017年。视图:出版商的网站|谷歌学术搜索
40. 问:m .翟g . Liu道,m .鑫”小说特征值修正迭代法”,Statistics-Simulation通信和计算,48卷,不。2、591 - 600年,2019页。视图:出版商的网站|谷歌学术搜索
41. 严z和w·张”,限定时间ito-type随机奇异系统的稳定性和稳定,”抽象和应用分析ID 263045条,卷。2014年,9页,2014。视图:出版商的网站|谷歌学术搜索
42. h . Li y朱、刘j .和y . Wang”共识的二阶延迟非线性多智能系统通过基于节点分布式自适应完全间歇协议,”应用数学和计算卷,326年,页1 - 15,2018。视图:出版商的网站|谷歌学术搜索
43. c .歌曲和j·冯多项式矩阵方程的解决方案X−斧头^TB=C”,应用数学学报ID 710458条,卷。2014年,8页,2014。视图:出版商的网站|谷歌学术搜索

版权

版权©2019郭Zhengqing Fu和兰兰。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。