文摘
非线性共轭梯度法是求解无约束优化问题的特别重要。有限许多最大的功能是一种非常有用的非光滑方程,这是非常有用的互补问题的研究中,约束的非线性规划问题,许多问题在工程和力学。平滑方法求解非光滑方程、互补性问题,随机互补问题已经研究了几十年。在本文中,我们提出了一种新的平滑非光滑方程非线性共轭梯度方法在最大数量有限的功能。新方法也保证任何聚点的迭代点序列,生成的新方法,是克拉克价值函数的驻点非光滑方程在最大数量有限的功能。
1。介绍
在这篇文章中,我们考虑以下非光滑方程在最大数量有限的功能: 在哪里为和,是连续可微的函数,然后呢是有限的指数集。表示, 然后(1)可以新配方 在哪里非光滑方程,,。非光滑方程研究了几十年,在最优控制的研究,提出了变分不等式和互补性问题,平衡问题,工程力学(1- - - - - -3),因为许多实际问题,如随机互补问题、变分不等式问题,马系统约束的非线性规划问题,和平衡问题,许多问题可以新配方为(1)。在过去的几年里,已经被越来越多的兴趣的研究(1)(如4,5])。由于其简单性和全局收敛性,迭代方法,如非光滑Levenberg-Marquardt法,牛顿法,求解非光滑方程和平滑方法,已经被广泛研究[4- - - - - -11]。
在这篇文章中,我们给一个新的光滑非线性共轭梯度法(1)。在下一节中,我们将召回一些非线性共轭梯度方法的定义和一些背景。我们也给新的平滑非线性共轭梯度法(1),保证任何迭代点序列的聚点是克拉克价值函数的驻点(1)。在最后一节,一些讨论。
符号。在接下来的一个量,下标表示数量评估,标准是2规范,。
2。预赛和新方法
在本部分中,首先,我们给出一些定义和非线性共轭梯度法的一些背景。其次,我们提出新的方法(1)并给出了收敛性分析。
在下面,我们给两个定义,这将在本文中使用。
定义1。让是一个局部李普希茨函数。然后,几乎处处可微的。表示是点的集合是可微的,那么一般的梯度在在克拉克的感觉 conv表示凸集的地方。
定义2。让是一个局部李普希兹连续函数。我们称之为一个平滑函数的,如果是连续可微的固定吗和
在下面,我们将给新方法(1)。为了清晰地描述方法,我们将这部分分成两个部分。以防1,给出了新的非线性共轭梯度方法平滑的目标函数。以防2,我们给新平滑非光滑目标函数的非线性共轭梯度法。
表示, 在哪里定义在(3)。然后(1)相当于以下无约束极小化问题最优值为零
案例1。在本节中,我们假设是一个连续可微的函数。然后(7)是一个标准的无约束优化问题。有许多方法求解无约束优化问题,如牛顿法、非线性共轭梯度法和拟牛顿法(12- - - - - -16]。在这里,基于[13,14),我们将给一个新的非线性共轭梯度法来解决(7)。迭代求解(7)是由 在哪里是方向,是一个步长;在本文中,我们使用沃尔夫类型线搜索(14]。计算,这样 在哪里,,的梯度。被定义为方向 在哪里 ,,,,,。
现在我们给的新方法(7)如下。
方法1。考虑下面的步骤。
步骤0。鉴于,,,如果,然后停止。
步骤1。找到令人满意的(9),是由(8)。
步骤2。计算由(10)。集步骤1,去。
我们还需要以下假设。
假设3。考虑以下:(我) 水平有限;(2)在附近的,存在,这样 在哪里,是一个社区的。
在下面,我们将给出全局收敛性分析方法1。首先,我们给出一些前题。
引理4。让生成的方法1,然后 在哪里。
现在,我们给方法的全局收敛性定理1。
证明。假设存在的矛盾,这样 适用于。通过 和(11),我们有 表示,,我们得到。然后我们有 这与(15)。所以我们得到的定理。
例2。在本节中,我们假设是一个非光滑函数。方程(7)是一个非光滑不牵强附会的优化问题。表示,平滑函数吗,,然后是计算
在哪里。被定义为方向
在哪里
,,,,,。
我们给下面的平滑非线性共轭梯度法。
方法2。给,,,。
步骤1。找到令人满意的(21),是由(8)。
步骤2。如果,然后设置;否则,让。
步骤3。计算由(22)。集步骤1,去。
证明。如果一组是有限的,那么对于一个固定的吗,,尽管。表示,,,因为是一个光滑函数,前面的方法减少方法1,在那里。由定理7,我们得到 所以我们知道为是不可能的。那么我们可以假定是无限的,那么 的无穷,我们可以假设集。然后我们有 通过 我们有 所以我们完成证明。
备注9。从定理的结果8,我们知道对于某些类型的平滑函数(9,10),任何聚点的生成的方法2克拉克是一个静止的点吗;也就是说,。
3所示。一些讨论
在这篇文章中,我们给一个新的光滑非线性共轭梯度法(1)。新方法也保证任何聚点是克拉克价值函数的驻点(1)。
讨论1。在我们的方法1和2,我们可以使用任何线搜索,它是定义良好的条件下,搜索方向下降方向。
讨论2。有一些种类的平滑函数满足的假设3固定(见[9,10])。平滑的函数有梯度一致的属性,那么任何序列的聚点吗生成的方法2克拉克是一个静止的点。在一些假设下,我们也可以使用的方法(15)来解决非光滑方程在最大数量有限的功能(1)。
讨论3。新方法还可以用于解决非线性互补问题(NCP)。通过F-B函数 我们知道NCP相当于,在那里是一个连续可微的函数,所以我们可以使用平滑方法1来解决这个问题。方法2也可以用来解决垂直互补问题 在哪里是连续可微的函数。
讨论4。新方法还可以用于解决Hamilton-Jacobi-Bellman方程(HJB)(见[17])。Hamilton-Jacobi-Bellman方程(HJB)用于查找,这样 在哪里是一个有限域,和是二阶椭圆算子。HJB出现在随机控制问题,常常被用来解决金融和控制问题。通过有限元方法,我们可以获得以下离散HJB方程;找到,这样 在哪里,,。
讨论5。我们也可以考虑使用新的方法来解决广义变分不等式问题(见[18])。一般变分不等式问题是计算,这样 在哪里是两个连续可微的函数和是一个封闭的凸集。方程(34)是用在[18]。 是互补的泛化问题,非线性变分不等式问题,一般非线性互补问题。计算的变分不等式问题 在哪里。一般的非线性互补问题来计算,这样 我们可以重写(34)以下非光滑方程: 在哪里投影算符到吗在欧几里得范数下。一般的非线性互补问题广泛应用于解决工程问题和经济问题;这样,在一些情况下,人非合作的博弈问题可以作为(新配方37)(见[19])。因此,如何使用我们的新方法,解决一般非线性互补问题人非合作的博弈问题将是一个有趣的话题,值得进一步研究。
确认
这项工作是由美国国家科学基金会支持的中国(11101231,70971070),一个项目的山东省高等教育科技项目(J10LA05)和国际合作项目2011年山东省级教育部门的优秀讲师。