文摘
非线性共轭梯度法解无约束优化问题的有用的方法之一。在本文中,我们考虑三种非线性共轭梯度方法与沃尔夫类型线搜索不牵强附会的优化问题。一些轻微的假设下,提出了给定方法的全局收敛性结果。数值结果表明,该非线性共轭梯度方法与沃尔夫类型线搜索一些无约束优化问题是有效的。
1。介绍
在本文中,我们关注非线性共轭梯度方法的全局收敛性和沃尔夫线搜索类型。我们考虑下面的无约束优化问题: 在(1),是连续可微的函数,其梯度用吗。当然,迭代方法通常用于(1)。给出了迭代公式 在哪里,是k (k + 1) th迭代步骤中,是一个步长,是一个搜索方向。在下面,我们定义的搜索方向 在(3),是一个共轭梯度标量,著名的有用的公式是什么,,,(见[1- - - - - -6])。最近,一些新的非线性共轭梯度方法给出了(7- - - - - -11]。基于新方法,我们给出一些新的非线性共轭梯度方法和分析方法的全局收敛性和沃尔夫线搜索类型。
剩下的纸是组织如下。节2,我们给的方法和全局收敛性结果。在上一节中,数值结果和一些讨论。
2。方法和全局收敛性结果
首先,我们给沃尔夫类型线搜索,将用于我们的新的非线性共轭梯度方法。在本文的以下部分,2-norm站。
我们使用了沃尔夫类型线搜索(12]。
线搜索计算这样 在哪里。
现在,我们呈现非线性共轭梯度方法如下。
算法1。我们有以下步骤。
一步0。鉴于,设置。如果,然后停止。
一步1。找到令人满意的(4)和(5)和(2),是给定的。如果,然后停止。
一步2。计算由以下方程:
在这。集步骤1,去。
在给出了全局收敛性定理之前,我们需要以下假设。
假设1。(A1)是有界的。
(A2)的社区,表示,是连续可微的。梯度是李普希兹连续;即为,存在这样
为了建立算法的全局收敛性1,我们还需要下面的前题。
引理2。假设的假设1持有;然后,(4)和(5)是定义良好的。
引理1证明本质上是一样的12];因此,我们不重写一遍。
引理3。假设的方向是由(6);然后,一个 适用于所有。所以,一个知道是血统的搜索方向。
证明。定义的和,我们可以得到它。
证明。由(4),(5),引理3,假设1,我们可以得到 然后,我们知道 的平方双方之前的不等式,我们得到的 由(4),我们知道 所以,我们得到了(9),这样就完成了引理的证明。
引理5。假设的假设1成立,计算(6),是由(4)和(5);一个人
证明。我们假设这个定理是不正确的。假设存在的矛盾这样
适用于。
从(6)和引理3,我们得到
把以前的不等式,我们得到
所以,我们获得
这与(14)。因此我们得到了这个定理。
注7。在算法1外,我们还可以使用以下公式计算: 在哪里; 在哪里。
算法8。我们有以下步骤。
一步0。鉴于,设置,。如果,然后停止。
一步1。找到令人满意的(4)和(5)和(2),是给定的。如果,然后停止。
一步2。计算由公式
和计算由(3)。集步骤1,去。
引理9。假设的假设1持有,计算(22);如果,然后一个人对所有和(见[9])。
引理10。假设,是一个常数。如果正项级数满意 一个人
从之前的分析,我们可以得到以下算法全局收敛性结果8。
定理11。假设的假设1持有,,在那里是一个常数。然后,一个
证明。假设存在的矛盾这样 适用于所有。从(3),我们有 平方双方之前的方程,我们得到的 让和;从(22),我们有 通过,,我们知道 由(30.),我们得到 从(31日)和引理10,我们有 这与引理4。因此,我们得到了这个定理。
算法12。我们有以下步骤。
一步0。鉴于,,设置。如果,然后停止。
一步1。找到令人满意的(4)和(5)和(2),是给定的。如果,然后停止。
一步2。计算通过
在哪里
集步骤1,去。
引理13。假设的方向是由(33)和(34);然后,一个 适用于任何。
引理14。假设的假设1成立,是由(33)和(34),是由(4)和(5);一个人
引理15。假设是凸的。也就是说,,尽管,在那里海赛矩阵的吗。让和由算法生成的12;一个人
证明。通过泰勒定理,我们可以得到的
在哪里,。
通过假设1,(4)和(38),我们得到
所以,我们得到了(37)。
定理16。考虑算法12,假设的假设1和引理的假设15持有。然后,一个
证明。我们假设结论是不正确的。假设存在的矛盾这样
适用于所有。
由引理13,我们有
从假设1,引理15,(42),我们知道
因此,通过(33),我们得到
我们获得
这与(36)。因此,我们有
所以,我们完成这个定理的证明。
评论17。在算法12,也可以通过以下公式计算: 在哪里。
3所示。数值实验和讨论
在本节中,我们给出一些数值试验前与沃尔夫类型线搜索新的非线性共轭梯度方法和一些讨论。我们测试的问题(13]。我们使用条件作为停止准则。我们使用MATLAB 7.0测试选择问题。我们给算法的数值结果1和12表明,该方法是高效的无约束最优化问题。算法的数值结果1和12在表中列出1和2。
讨论1。从分析算法的全局收敛性1我们可以看到,如果满足有效下降搜索方向的性质,我们可以得到相应的非线性共轭梯度方法的全局收敛性和沃尔夫类型线搜索没有其他假设。
讨论2。在算法8中,我们使用一种沃尔夫行搜索。总的来说,我们也觉得非单调线搜索(见[14)也可以用于我们的算法。
讨论3。从分析算法的全局收敛性12我们可以看到,当是一种有效的下降搜索方向,我们可以得到相应的共轭梯度方法的全局收敛性与沃尔夫类型线搜索,而无需一致凸函数。
确认
这项工作是由美国国家科学基金会支持的中国(11101231和11101231),山东省高等教育科技计划的项目(J10LA05),以及国际合作项目2011年山东省级教育部门的优秀讲师。