文摘
在这项研究中,我们提出一个替代混合算法规则混合搜索方向最陡下降(SD)和拟牛顿(QN)。首先,我们倾向于开发替代搜索方向结合共轭梯度(CG)和QN策略。第二,我们倾向于描述替代积极CG方法具有足够的后裔属性与坚固的沃尔夫行搜索。我们倾向于结合地证明替代定理保证全局收敛性属性下面一些给定的条件。我们的数值结果表明,新的算法规则是强大的规模相比不同的标准高CG策略。
1。介绍
非线性CG技术可能是一个有用的程序搜索出任何非线性函数的最小值通过剥削无约束非线性优化策略。
让我们考虑后续无约束极小化问题: 在哪里 是一个实值平滑函数。重复的公式给出 在哪里副最佳步长计算任何线搜索过程(1]。搜索方向被定义为 和 表示 ,而是一个积极的标量。
建立知名的实例广场测量来自Hestenes-Stiefel, Fletcher-Reeves、Polak-Ribiere Liu-Storey Dai-Yuan, Dai-Liao(见[2,3,3,4,4- - - - - -7分别为]),在已经存在的收敛性分析和实现CG方法,弱者沃尔夫条件广场测量(8]: 如果我们选择 ,沃尔夫也强烈的条件(8包括(4), 现在,让我们回顾易卜拉欣等人[工作9),可以工作,考虑无约束极小化问题。易卜拉欣等人推荐搜索方向是概述 和蓄热更新矩阵如果步长是吗 标量 选择以确保共轭性。
此外,另一个被认为是一个等价的无约束极小化问题。易卜拉欣et al。10)推荐另一个搜索方向概述 我是身份和矩阵< 0。
此外,易卜拉欣et al。11提出另一个搜索方向,概述了 积极的标量和是Hestenes-Stiefel参数。
2。提出一种新的搜索方向
在本节中,我们建议更换搜索方向推导出从易卜拉欣et al。9- - - - - -11]。新的搜索方向是概述 而(bfg更新矩阵的近似矩阵)表示近似的海赛矩阵G可能是一个正的常数。为了驱动的价值 ,我们倾向于用的(11)诱导 自 和 (佩里条件(12),然后 为了看到的价值 ,我们会另外增加的(11)诱导 由于乘法所示的流程(13)和(16),我们倾向于达到以下搜索方向(17一个),(17 b)和(17摄氏度)。后续新的搜索方向是我们的新的预测算法程序: 在接下来的步骤中,我们倾向于假定每个搜索方向必须满足后续下降条件( ,k)。同时,应该存在一个常数c > 0为了得到 对所有 ,(中概述的新方向18)应当满足充分下降条件。足够的下降情况会使用后证明我们的新定理(见部分2.2)。为了证明我们的新定理,我们倾向于一定使用后续给出假设(见部分2.1)。
2.1。假设在9,11,13]
(A1) 是连续可微的两倍。(A2)f是一致凸的;m和m是正的常数,这样 对所有 ,f和G的海赛矩阵。(A3)矩阵G李普希兹连续点 ;即存在正的常数L满意 对于所有x的社区 。
2.2。一个新的定理证明足够的财产
证明我们的新投影算法中定义(17一个),(17 b)和(17摄氏度)满足充分下降条件下,我们倾向于假设的假设(部分2.1广场测量是正确的。此外,序列是有界的。然后,充分下降条件(18)是正确的 。
证明。当服用(17一个),(17 b)和(17摄氏度)和实现下降条件下,我们可以看到以下几点: 我们得到的价值 ,这是有界远离零。因此(18)是正确的。
2.3。引理(10,14]
假设的假设2.1是真的。然后,步长这是由(2)满足 当是一个积极的常数。
2.4。新的财产证明全局收敛性定理
重要的和必要的属性进行了回归算法,我们现在来证明必要的属性出现在数值优化算法。让我们证明了新算法中定义(17一个),(17 b)和(17摄氏度)。实现全局收敛性属性,认为理论部分2.2节和假设2.1是正确的。然后
证明。通过链接理论部分2.2节和引理2.3我们给下面的结果: 因此,从我们的新定理的部分2.2,我们可以定义 ,因此我们可以简化(23), 。因此,建立了证据。
3所示。一种新形式的参数在共轭梯度方法
获得一个更新版本的共轭梯度法与一个新的参数 ,我们比较中指定的标准CG-method (3)提出的新算法中指定的(17一个),(17 b)和(17摄氏度): 增加双方的24)我们得到了 或 知道我是单位矩阵。此外, 然后,新是 和 。应该注意的是,当使用精确线搜索假设 和矩阵是单位矩阵,将减少海关的新标准。还必须满足此条件, (积极的常数), 这些条件后,我们知道新的参数是 结合这两个参数 被定义为和搜索方向
3.1。概述了新提议CG-Algorithm (29日一),(29个b),(29度),(29岁的维)和(29 e)
通过假设 ,并通过设置迭代k = 1,我们得到了下面的步骤。
步骤1。集 ,如果 ,然后停止。
步骤3。生成通过实现(29日一),(29个b),(29度),(29岁的维)和(29 e)。
步骤4。如果 (15是满意,然后去一步1;如果不是,那么继续下去。
3.2。假设,证明新算法的收敛性分析属性(29日一),(29个b),(29度),(29岁的维)和(29 e)
让我们假设以下。(我)的水平集 (2)的条件 是满意的, ;也因为f是一个一致凸函数,那么存在一个常数 ,这样 从两个(19个),(19 b)和(31日),我们可以得到以下:
3.3。新定理证明充分下降方向的新算法(29日一),(29个b),(29度),(29岁的维)和(29 e)
如果我们有一个倾向于假设(A3)部分2.1是真的,如果我们假设条件(i)和(ii)、中(30.)和(31日),分别是真的,那么新提出的搜索方向中定义的(29 e)满足充分下降条件。
证明。利用数学归纳法证明这个新的定理;最初的方向(k = 1)
满足(18)。
我们假设
如果我们两边的29日一)
,然后我们可以得到
自
,自
:
由于
上述方程确保条件(18)是满意的。因此,证据就完成了。
3.4。引理(1,16]
通过假设的假设2.1是真的,通过假设任何CG-method搜索方向可能是一个下降方向提供了步长吗通过强大的沃尔夫线搜索条件,如果 然后
3.5。新定理证明了新算法的全局收敛性属性(29日一),(29个b),(29度),(29岁的维)和(29 e)
如果我们假设假设(i)和(ii) (30.)和(31日),分别是真实的,如果我们有一种倾向,认为(A3)部分2.1另外是正确的,那么搜索方向(中概述29 e步长)是下降了计算使用(4)和(6),然后
证明。自 由于 和 , 然后从(A3)部分(部分2.1),从条件(2)(31日)和(28),我们得到
4所示。数值结果和比较
在这项工作中,我们有一种倾向,比较我们的新提议CG-method Hestenes-Stiefel等一些正常的古典CG策略(HS)和Dai-Yuan (DY)五十无约束非线性情况下的开发;看看功能从安德烈(17,18]。至于计算机程序,它停止时 。此外,这个词 ,这是定义在(29日一),可以计算 。新算法在数值结果(29日一),(29个b),(29度),(29岁的维)和(29 e), 和 共有50个测试问题的可爱的图书馆。σ绘图软件被用于图像数据。我们采用的性能概要多兰和更多19]。因此,新、HS和DY策略比较而言,CPU, NOF数字1- - - - - -3。对于每个方法,我们绘制正确的比例问题,解决在一个因素的最佳时间。数据,最曲线的方法解决了大部分问题在最好的时间t的一个因素。在数据1- - - - - -3,新方法优于HS算法和DY方法而言,CPU和NOF。如果解决方案没有聚集在800秒之后,该项目被终止。一般来说,这个期限内实现收敛;函数的期限超过是用“F”失败。
5。结论
这项工作结束时我们能够获得一个新的研究方向中定义(29日一),(29个b),(29度),(29岁的维)和(29 e)。这个新趋势是一个混合血统技术与拟牛顿相结合的趋势。通过理论的研究,新的趋势(29日一),(29个b),(29度),(29岁的维)和(29 e)证明了它满足足够比例的要求,确保全局收敛性的财产。此外,我们提出了一个新的标量( )这保证了足够的下降方向。此外,在一些情况下,我们建立了新算法的全局收敛算法一致凸函数在强大的沃尔夫线搜索条件。数值结果表明,当我们选择参数的值在(13),在(16),我们获得最好的数值结果与其他类似的数值结果。
数据可用性
使用的数据支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称没有利益冲突有关的出版。
确认
支持的研究是计算机科学和数学学院大学的摩苏尔,伊拉克共和国,在项目没有。8728196。