文摘
内存有限bfg (L-BFGS)算法求解大规模对称非线性方程组,在一条线没有使用导数信息搜索技术。建立了该算法的全局收敛性在某些合适的条件。数值结果表明,给定的方法与普通蓄热方法具有竞争力。
1。介绍
考虑 在哪里是连续可微的,雅可比矩阵的都是对称的,表示大规模的维度。不难看到,如果一些函数的梯度映射吗问题(1)是一阶必要条件问题。此外,考虑到 在哪里是一个向量值函数,那么马条件可以表示为系统(1),和,在那里是拉格朗日乘数法的矢量。以上两种情况显示问题(1)可以来自一个无约束的问题或一个等式约束优化问题的理论。此外,还有其他的实际问题,也可以采取的形式(1),如离散两点边值问题,鞍点问题和离散椭圆边值问题(见第1章的1]详细)。让是规范功能;然后问题(1)相当于下面的全局优化问题: 在哪里是欧几里得范数。
在本文中,我们将关注的线搜索方法(1),其被定义为正常的迭代公式 在哪里是所谓的搜索方向和是一个steplength沿着。首先,我们简要地回顾一些方法。
(我)法线搜索(布朗和Saad [2])。的stepsize是由 在哪里和。证明了收敛并得到一些好的结果。我们都知道,非单调的想法比正常更有趣的技术在许多情况下。然后一个非单调线搜索技术在此基础上提出的动机是朱(3]。
(2)非单调线搜索(朱3])。的stepsize是由 ,,(,是一个非负整数。建立了全局收敛性和超线性收敛在温和的条件下,分别。不难看出,上述两种线搜索技术,雅可比矩阵必须在每步迭代计算,这显然增加了工作量和消耗的CPU时间。为了避免这个缺点,陆元,(4提出了一种新的回溯不精确的技术。
(3)新的一行搜索(陆元,(4])。的stepsize是由 在哪里和。他们建立了全局收敛性和超线性收敛性。和数值试验表明,新行搜索技术是更有效的比法线的搜索技术。然而,这些三线搜索技术不能直接保证血统的属性。因此更有趣的线搜索技术进行了研究。
(iv)近似单调线搜索(李和福岛(5])。的stepsize是由 在哪里,,是最小的非负整数吗令人满意的(8),和是常数,是这样的, 线搜索(8)可以写成 它是容易看到,右边上面的不平等。那么不难看到序列生成一个与线搜索算法(8)大约是正常降落。为了确保序列是规范后裔,顾et al。6)提出以下行搜索。
(v)单调下降线搜索(Gu et al。6])。的stepsize是由 在哪里,,类似于(8)。
在下面,我们目前的一些技术。
(我)牛顿法。搜索方向被定义为 牛顿法是最有效的方法之一,因为它通常需要最少的功能评价和很擅长处理病态。然而,它的效率很大程度上取决于可能有效解决线性系统(12当计算),这就出现了。此外,系统的精确解(12)可能过于繁重的或没有必要远不是一个解决方案(7]。因此提出了拟牛顿方法。
(2)拟牛顿方法。搜索方向被定义为 在哪里是拟牛顿更新矩阵。拟牛顿方法代表牛顿型的基本方法潜在的最大规模算法(见[3,4,8)等),著名的蓄热法是一种最有效的拟牛顿方法,由以下公式: 在哪里和与和。由(11)和(14),人民币和姚9)提出了一种蓄热方法,非线性方程和一些好的结果。表示,然后(14)逆更新公式为代表 不幸的是,牛顿法和拟牛顿方法需要很多的空间来存储矩阵在每一个迭代,这将防止算法的效率问题,特别是对于大规模问题。因此低存储矩阵信息的方法应该是必要的。
(3)有限内存拟牛顿法。搜索方向被定义为 在哪里是由有限内存拟牛顿法,著名的有限内存拟牛顿法是所谓的内存有限蓄热法。L-BFGS方法是大规模的蓄热方法的适应问题(见[10详细]),这通常需要最小的存储和提供了一个快速线性收敛速度。L-BFGS方法具有以下形式: 在哪里,,是一个整数,然后呢是单位矩阵。公式(17)表明,矩阵通过更新基本矩阵吗次使用蓄热与前面的公式迭代。由(17(一起),7)和(8),元et al。11]介绍了L-BFGS非线性方程,得到了全局收敛性的方法。目前,有许多论文提出了(1)(见[6,12- - - - - -15),等等)。
为了有效地解决大规模非线性方程组和拥有良好的产权理论,基于上述的讨论和,我们将结合(11)和(16)和现在L-BFGS方法(1自()11)可以规范功能下降,(16)需要更少的低存储。新算法的主要属性声明如下。(我)L-BFGS方法(11)。(2)标准功能下降。(3)在适当的条件下建立了全局收敛性。(iv)数值结果表明,给定的算法比常规算法更具竞争力的大型非线性方程组。
本文组织如下。在下一节中,回溯不准确L-BFGS算法。部分3将一些合理的条件下算法的全局收敛性。数值实验是为了测试算法的性能4。
2。算法
本节将国家L-BFGS方法与新的回溯线搜索技术(11)为解决(1)。
算法1。
步骤0。选择一个初始点,一个初始对称正定矩阵、积极的常量,,常量,一个正整数。让。
步骤1。如果停止。
步骤2。确定由(16)。
步骤3。如果
然后将然后转到步骤5。否则到步骤4。
步骤4。让最小的非负整数这样,(11)适用于。让。
第5步。让下一个迭代。
步骤6。让。把和。更新为次获得由(17)。
步骤7。让。步骤1。
在下面,方便分析全局收敛性,我们假设算法更新(逆)基本上有界和正定矩阵(的倒数)。然后算法1与有以下步骤。
算法2。
步骤2。确定通过
步骤6。让。把和。更新为次;也就是说,对于计算 在哪里,对所有。
备注3。算法1和2是数学等价的。在本文的算法2只给出分析为目的的,所以我们只讨论算法2理论上是这样。在实验中,我们实现算法1。
3所示。全局收敛性
定义水平集通过 为了建立算法的全局收敛性2,类似于(4,11),我们需要以下假设。
假设一个。 连续可微的一个开放的凸集吗包含。此外雅可比矩阵是对称的、有界和正定;也就是说,存在积极的常量令人满意的
假设B。 是一个很好的近似;也就是说, 在哪里是一个小数量。
备注4。假设一个暗示
关系(24)可以确保由(20.)继承了对称和积极的明确性。因此,(19)有一个独特的解决方案。此外,下面的引理。
引理5(见定理2.1 (16)或看到引理3.4 (11])。我们的假设举行,让由算法生成的2。然后,对任何和有积极的常量,;下面的关系 持有至少的值。
通过假设B,类似于(4,9,11,15),很容易得到以下引理。
引理6。我们的假设举行,让由算法生成的2。然后是一个下降方向在;也就是说,成立。
基于以上引理,假设B,类似于[引理3.82),我们可以得到下面的引理。
引理7。我们假设B举行,让由算法生成的2。然后。此外,是收敛的。
引理8。我们假设一个和B持有。然后,在有限数量的回溯步骤,算法2将会产生一个迭代。
证明。对我们来说是充分证明线搜索(11)是合理的。由引理3.8 (2),我们可以推断出,在有限数量的回溯的步骤中,是这样的, 由(19),我们得到 因此 通过假设B,我们有 使用(19一遍又一遍的),我们获得 设置和意味着(11)。这就完成了证明。
备注9。以上引理显示算法2是定义良好的。通过一种类似于[引理3.2和推论3.45),不难推断出 持有;我们没有证明它了。现在我们建立了全局收敛性定理。
定理10。我们假设A和B。然后序列由算法生成2收敛于独特的解决方案(1)。
证明。引理7意味着是收敛的。如果
然后每一个聚点是一个解决方案(1)。假设一种手段(1)只有一个解决方案。此外,由于是有界的,至少有一个聚点。因此本身的唯一解收敛于(1)。因此,它可以验证(32)。
如果(18)适用于无穷多的,那么(32)是微不足道的。否则,如果18)只适用于有限的年代,我们得出结论,执行步骤3足够大。由(11),我们有
自是有界的,通过添加这些不平等,我们得到了什么
然后我们有
在一起(31日)意味着(32)。这就完成了证明。
4所示。数值结果
本节与算法数值结果报告1和正常bfg算法。测试问题相关的初始猜测列出与
问题1。指数函数1: 最初的猜测:。
问题2。指数函数2: 最初的猜测:。
问题3。三角函数: 最初的猜测:。
问题4。奇异函数: 最初的猜测:。
问题5。对数函数: 最初的猜测:。
问题6。Broyden三对角函数(17,471 - 472页): 最初的猜测:。
问题7。Trigexp函数(17,473页): 最初的猜测:。
问题8。严格凸函数1 (18第29页):的梯度。考虑 最初的猜测:。
问题9。线性function-full排名: 最初的猜测:。
问题10。罚函数: 最初的猜测:。
问题11。可变尺寸的功能: 最初的猜测:。
问题12。三对角系统[19]: 最初的猜测:。
13题。Five-diagonal系统[19]: 最初的猜测:。
14题。扩展Freudentein和罗斯函数(甚至)[20.): 最初的猜测:。
第15题。离散边界值问题(21]: 最初的猜测:。
16题。Troesch问题[22]: 最初的猜测:。
在实验中,参数的算法1和正常的被选为蓄热方法,,,,单位矩阵。所有代码都写在MATLAB r2013b和PC上运行(电子邮件保护)CPU GHz酷睿2处理器和4.00 GB内存和Windows 7操作系统。我们停止程序时的状态很满意。由于线搜索不能总是保证条件艰难的搜索方向可能发生的数值实验。在这种情况下,线搜索规则可能失败。为了避免这种情况,stepsize将被接受,如果搜索时间比八大核心圈的测试问题。我们也停止这个项目如果迭代数量到达1000。列的表有以下意义。暗:维度。倪:迭代的总数。NG:数量准则函数的评估。时间:第二次的CPU时间。GN:的正常价值当程序停止。南:不是一个数字,impl代码无法得到真正的价值。正:返回的IEEE算术表示正无穷或无穷也由操作像除以零。
从数值结果表1,不难表明该方法比普通蓄热方法更成功。我们可以看到,存在许多问题,不能成功地解决了普通蓄热方法。此外,正常的蓄热方法对几个问题未能得到真正的价值。然后我们可以得出结论,提出方法比普通蓄热方法更具竞争力。
利益冲突
作者宣称没有利益冲突有关的出版。
确认
作者要感谢广西大学教授Gonglin元为他建议本文组织和帮助程序的代码,它拯救他们多少时间来完成这篇论文。作者还感谢裁判有价值的评论和编辑建议在本文的思想和英语,这大大提高了纸。这项工作是由广西NSF(批准号NSF(批准号2012 gxnsfaa053002)和中国11261006)。