新调查Liu-Story扩展非线性共轭梯度方法的优化

文摘

本文认为修改公式的标准共轭梯度(CG)技术,由李和福岛计划。一个新的标量参数无约束最优化CG技术的计划。血统和全局收敛的条件属性建立如下使用强大的沃尔夫条件。我们的数值实验表明,新提出的算法更加稳定和经济相比,一些著名的标准CG方法。

1。介绍

共轭梯度(CG)策略包括一类非线性优化算法,需要低内存和强大的本地和全局收敛性属性(1,2]。通常,CG方法是为了解决大规模扩展非线性优化问题:

在理解中定义的函数形式是光滑的非线性函数。重复的公式形式

这个公式是最重要的组成部分步长,搜索方向由 而表示和表示积极的标量。的步长有时选择满足绑定线搜索条件(3]。在这些搜索方向条件下,强劲的沃尔夫线搜索条件有时概述如下: 和 。有许多不同的公式为共轭系数在接下来的来源,例如,Hestenes施蒂费尔,HS (4];弗莱彻和Reeves, FR (5];波兰人和Ribiere公关(6];共轭后裔,CD (7];李和福岛,低频(1];刘和故事,LS (8为标量参数),对应于不同的选择 。

2。一个新的标量参数公式

在本文的这部分,我们提出了一个新版本的参数依靠修改后的高炉煤气的方法提出的李和福岛(1]。在蓄热方法,矩阵更新以下公式(9]: 在哪里 。此外,列出的正常sec关系符合后续公式:

研究者李和福岛提出适当的修改全局和超线性收敛的蓄热技术,即使在不需要凸目标函数。随后修改sec方程符合后续列出公式如下: 在哪里 和> 0;> 0,是一个参数定义为

具体地说,把价值c是常数,是大于零的。

有三种不同的情况下 :案例1:如果在这种情况下我们有负值的明确的矩阵的问题,所以李和福岛公式如(9)和开发相应的高炉煤气的公式如下: 此外,的形式在(10),当使用max的值(0;在这种情况下零),不是选择。通过这个公式,研究人员证明了对称矩阵是正定(修改10]。例2:如果 ,在这种情况下,我们可以肯定说,bfg更新矩阵是对称正定当应用这个公式(换句话说,当内应用不平等在这个公式 ,max = 0) (11]。

如果我们使用刘和故事(LS),我们使用任何标量 ;然后,(3)成为 在哪里

当任何积极的价值大于一个,新的并行搜索方向吗在方程(12)是牛顿方向。因此,牛顿方向

因此,

使用方程(8),新的标量就变成了

用方程(9)和(10),以(因为我们使用强大的沃尔夫行搜索在方程(10),收益率 。因此,在新的搜索方向是新的标量

因此,我们得出结论从方程(17),新参数是最好的,因为它是最新发现的价值y时,我们也发现不同形式改变的价值c我们会注意到部分的数值结果。

3所示。新定理(充分下降方向)

如果我们假定线搜索满足条件(4)和(5),然后生成新的搜索方向从方程(12)和(17)可以充分下降方向。

证明。从方程(12)和(17),我们得到 通过使用鲍威尔重启方程(即 ), 如果 > 0,第二不平等是正确的: 使用强大的沃尔夫行搜索条件(5)产量 这意味着后者方程 因此,我们要求是完整的。

3.1。概述了新CG-Algorithms

步骤1:选择初始点 ,并选择一些积极的值和 。然后,设置并设置 。第二步:测试停止标准。如果满意,然后停止;否则,继续。步骤3:确定沃尔夫条件,定义在方程(4)和(5)。第四步:计算第二个迭代点从方程(2)。第五步:计算标量参数从方程(17)。第六步:计算新的搜索方向,即第七步:测试鲍威尔重新启动判据,即,如果 ,然后重新启动新的搜索方向 。第八步:设置下一次迭代k=k+ 1,然后转到步骤2。

4所示。收敛性分析的新算法

在接下来的部分,我们倾向于讨论新算法的收敛性分析房地产。首先,我们提供一个假设收敛分析房地产的新算法。然后,我们的研究中提供了另一种著名的引理需要收敛分析性质。最后,我们有一种倾向,设立新的定理在证明,单位面积与新算法的收敛性分析。

假设。(我)水平集 是有界的,存在一个常数z> 0,如(12] (2)在邻里N的年代,f是连续可微的,其梯度李普希茨是连续的,也就是说,存在一个常数l> 0,等 假设(i)和(ii)f,我们能够推断出存在> 0,如

引理。如果我们假设3,13](1)假设成立。(2)搜索方向在标准的CG方法是一个下降方向。(3)优化步骤通过方程计算(4)和(5)。(4)满足收敛条件,即。,如果 然后,

5。新定理(一致凸函数)

如果我们假设(1)假设成立。(2)新的搜索方向由方程(12)和(17)是一个下降方向。(3)最优的步骤通过方程计算(4)和(5)。(4)目标函数f一致凸的;然后,

证明。考虑到新的方向在方程(12)和方程的参数(17)满足下一个绝对值条件: 好参数 此外,通过结合的结果,我们得到 我们得到了所需的证据。我们把相似的点前面的假设,但也有一些变化公式。

6。新定理(通用功能)

如果我们假设(1)假设成立。(2)新的搜索方向由方程(12)和(17)是一个下降方向。(3)最优的步骤通过方程计算(4)和(5)。(4)目标函数f通用功能;然后,

证明。使用相同的风格的定理证明的事实的差异函数算法的一般函数, 然后,我们得到 因此,关于新定理的证明该算法的收敛性分析完成。

7所示。数值实验

在本节中,我们报道一些数值试验进行一组(60)无约束优化测试问题分析的效率 。这些测试的细节问题,可以找到与给定的初始点,在14,15]。我们处理这些(60)通过添加1000为每个测试函数n到达最大数量n等于10000。在我们的实验中使用的终止准则 。

在比较下,我们采用以下算法:(我)LS:沃尔夫行搜索(2)CD:沃尔夫行搜索(3)海关:沃尔夫行搜索(iv)公关:沃尔夫行搜索(v)新算法,利用方程(17)和标量c= 0.1(vi)新算法,利用方程(17)和标量c= 0.001

在表中1和2,我们数值比较提出新的CG算法与其他著名的CG算法使用已知的比较工具来验证其性能等算法如下:陈列=的总数计算迭代的迭代NOFG =函数和梯度计算的总数时间=处理器执行所需的总CPU时间重心算法和达到所需的最小值函数最小化

因此,在这些重心算法,新算法似乎产生最好的搜索方向。在表3,有一个明确的证据表明,新算法优于标准的LS和CD算法详细如下(当c= 0.1):(一)100% LS算法:该算法提高了(71.5%),由(94.92%)NOFG改进,提高了(64.2%)(b)100%的CD算法:该算法提高了(72.6%),由(89.95%)NOFG改进,提高了(66.7%)

(当c= 0.001):(c)100% LS算法:该算法提高了(64.34%),由(16.99%)NOFG改进,提高了(16.08%)(d)100%的CD算法:该算法提高了(52.60%),由(14.63%)NOFG改进,提高了(12.75%)在表4,有一个清晰明显,新算法优于标准的商品和公关算法如下详细(当c= 0.1):(e)100% HS算法:该算法提高了(77.6%),由(98.9%)NOFG改进,提高了(57%)(f)100%公关算法:该算法提高了(86.2%),由(98.3%)NOFG改进,提高了(72%)(当c= 0.001)(g)100% HS算法:该算法提高了(77.7%),由(98.9%)NOFG改进,提高了(49.8%)(h)100%公关算法:该算法提高了(86.3%),由(98.3%)NOFG改进,提高了(67.3%)

从上面的表格我们可以推导出和实验总结如下:(我)点(d)上面,我们新提出的算法CG-type方法领域的经济和健壮的标准相比LS和CD算法(2)上述点(e h)是我们的新提出的算法CG-type方法领域的经济和健壮的HS和PR算法比标准

所有这些比较都是使用性能的多兰和更多16),我们可以得出这样的结论:(1)图1说明了新算法和(LS、CD、HS和公关)的活动新算法在计算迭代的数量(2)图2解释了新算法和(LS、CD、HS和公关)的活动新算法在计算功能和梯度的数量评估(3)图3显示的算法需要多长时间到达解决方案(即。所需的CPU时间)(4)图4显示了执行的函数在两个不同的常数的新算法比基本算法(LS、CD、HS和公关)基于迭代的数量(5)图5演示了许多的杰出的表现相比,新算法与两个不同的常数函数基本算法(LS、CD、HS和公关)基于函数梯度的数量评估

8。结论

在这项研究中,我们已经提交了两个新CG方法(通过改变的价值c)。提出的一个重要属性CG方法是保证充分下降方向。在温和的条件下,我们证明了新算法是全局收敛的一致凸和一般函数使用强大的沃尔夫行搜索条件。初步的数值结果表明,如果我们决定好的参数值c,新算法能够很好地执行。然而,一个最优值的参数c理论上可以处理(在未来研究)实现更多最好的数值结果。

数据可用性

使用的数据支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

支持的研究是计算机科学和数学学院大学的摩苏尔,伊拉克共和国,在项目没有。3615208。