对Rosen的梯度投影法收敛性的讨论

一、引言 Rosen的梯度投影法发表于1960,是非线性规划的一个基本方法。方法简单,实际应用的数值效果好。方法的重要性还在于,一些更有效的近代算法继续采用了它的基本思想,在这些算法中,有代表性的是Goldfarb方法。 从Rosen方法发表到现在,已有二十余年了,但它的收敛性问题尚未解决,所谓收敛性问题,是指,当算法产生一无穷序列时,其聚点是否是所求的解。或者从点到集映像的收敛性理论出发,在几何上可解释为,算法是否会由于jamming(zigzaging)的现象而导     

解带线性或非线性约束最优化问题的三项记忆梯度Rosen投影算法

利用Rosen投影矩阵，建立求解带线性或非线性不等式约束优化问题的三项记忆梯度Rosen投影下降算法，并证明了算法的收敛性．同时给出了结合FR，PR，HS共轭梯度参数的三项记忆梯度Rosen投影算法，从而将经典的共轭梯度法推广用于求解约束规划问题．数值例子表明算法是有效的。     

改进的Rosen-Polak方法

(一)前言 梯度投影法由Rosen于1960年首先较完整地提出以后,成为非线性规划算法的基本方法之一。Rosen处理了以下的模型:     

一类广义隐互补问题的投影组合算法

隐互补问题在自然科学中的诸多领域有着广泛的应用.研究了一类广义隐互补问题.利用外梯度法的两种改进算法构造了新的投影迭代算法,并将其应用到这类广义隐互补问题中,研究了在伪单调的条件下算法的收敛性,并讨论了新算法的参数和校正步长的选择方法.     

关于 Rosen 算法的注记

1960年,Rosen 提出一个求线性不等式组可行解的投影算法.1981年,Powell给出一个例子说明 Rosen 的算法会发生循环从而失效.本文证明,按照 Rosen 的算法,只要适当地做点修正,循环就可避免,从而算法必在有限步内找到解或发现无解.首先给出一些记号.所考虑的问题是求 n 维向量 x 满足     

一类广义隐互补问题的外梯度法

隐互补问题在自然科学中的诸多领域有着广泛的应用.本文研究了一类广义隐互补问题.本文将外梯度法应用到这类广义隐互补问题中,研究了在伪单调的条件下算法的收敛性,并证明了算法具有R-线性收敛性.     

一类不精确拟牛顿型算法的局部收敛性分析

为了求解Hilbert空间中算子方程或minimax问题,构造了一类无穷维空间中的不精确拟牛顿算法,并考虑了其线性收敛性和超线性收敛性,是对有限维空间中不精确拟牛顿法的推广.当迭代算子由Broyden修正给出时,在一定的假设条件下,得到了不精确Broyden方法的线性收敛性和超线性收敛性.这为使用不精确拟牛顿法结合投影法求解算子方程做好了准备.     

关于非线性约束条件下的Polak算法的一些讨论

E.Polak将J.B.Rosen的梯度投影法推广到非线性约束的问题时,为了保证算法的收敛性,在约束集上要加上一个复杂的假设。本文指出,在约束集合有界的条件下,这一假设可由一简明的假设所替代。对算法本身,作了相应的改动,对可行区域为有界的情形,保证迭代点列的聚点为最优解.对于可行区域无界的问题,修改后的算法保证,当迭代计算得出一在有界集上的无穷序列{x~k}时,{x~k}的任一极限点为最优解。     

可行方向法的一个统一探讨

本文给出了一种一般理论,讨论非线性规划 min{f(x)|Ax=b,x≥0}的某类可行方向方法的全局收敛性.在 f∈C~1和约束条件为非退化的假定下,提出了下降可行方向的一般模型以及一类可行方向算法,并且证明了这类算法在某些条件下是全局收敛的.这里验证了文献中常见的一些可行方向法都是这类算法的特例,并且也满足本文中提出的收敛性条件.最后构造出几种新的可行方向方法,它们都具有全局收敛性.     

论单调最优化算法的收敛性

全局收敛性是最优化算法应具备的一个基本性质,研究各种最优化算法的全局收敛性是非线性规划的一个重要理论问题.Zangwill 借助点到集映象来构成抽象算法这一研究途径,分析和综合了各种具体最优化算法的收敛特征,并且利用闭映象的概念提出了抽象算法的收敛条件,而后这方面的工作得到了广泛重视而有了很大的发展.Polak,Meyer,Huard,Denel,Yue 等人,都发展了 Zangwill 的研究工作.他们分别提出了多种抽象算法模型,并且研究了它们的收敛性.这些理论结果对具体算法的研究中有了重要和广泛的应用.     

带误差项的下降算法的收敛性

本文考虑了Solodov和Svaiter提出的带误差项的下降算法的收敛性．其重要特征是在收敛性的证明过程中没有应用梯度函数的Hlder连续性．因此,我们在较弱的条件下得到了该算法的收敛性结果．     

Wolfe线搜索下新的共轭梯度法的全局收敛性

共轭梯度法是求解无约束优化问题的一种重要的方法.本文提出一族新的共轭梯度法,证明了其在推广的Wolfe非精确线搜索条件下具有全局收敛性.最后对算法进行了数值实验,实验结果验证了该算法的有效性.     

一类变尺度算法的收敛性质

本文讨论一类变尺度算法的收敛性质,在一定条件下,证明了 Huang 算法类、吴方和桂湘云算法类及 Flachs 算法类的收敛性与超线性收敛性.特别,还证明了一类带有非精确线性搜索的算法之收敛性与超线性收敛性.     

修正的IPA算法的建立及在不等式约束凸优化问题中的应用

本文首先对IPA算法进行了修正，并证明了修正IPA算法的收敛性，然后将修正后的IPA应用到不等式约束凸优化问题中得到新的内点算法，并与传统的障碍函数法作了比较，从理论上体现了新算法的优势，并给出了其工程解求解法以及收敛性的证明．     

一种改进的动态步长的次梯度算法

次梯度法是解决大规模凸优化问题的经典和有效的方法之一,步长的选取对次梯度法的收敛性起着至关重要的作用.Goffino等(1999)提出了动态步长次梯度算法,通过改进其中的一个参数,提出了改进的动态步长次梯度算法,并证明了改进算法的收敛性.最后,通过数值实验可以看出改进的算法比原来的算法更有效.     

推广的Wolfe搜索下一族共轭梯度法的全局收敛性

共轭梯度法是求解无约束优化问题的一种重要的方法,尤其适用于大规模优化问题的求解.本文提出一族包含FR方法和CD方法的新的共轭梯度法,证明了其在推广的Wolfe非精确线搜索条件下具有全局收敛性.最后对算法进行了数值试验,试验结果验证了该算法的有效性。     

具有线性化技术的三块非凸不可分优化问题BregmanADMM收敛性分析

交替方向乘子法是求解两块可分离凸优化问题的有效方法,但是对于三块不可分的非凸优化问题的交替方向乘子法的收敛性可能无法保证.该文主要研究的是用线性化广义Bregman交替方向乘子法(L-G-BADMM)求解目标函数是三块不可分的非凸极小化问题的收敛性分析.在适当假设条件下,对算法中子问题进行求解并构建满足Kurdyka-Lojasiewicz性质的效益函数,经过理论证明可以得到该算法的收敛性.     

优化算法的复杂度分析

优化算法的收敛性分析是优化中很重要的一个领域,然而收敛性并不足以作为比较不同算法效率的标准,因此需要另外一套衡量优化问题难易程度以及优化算法效率高低的理论,这套理论被称为优化算法的复杂度分析理论.本文共分为5个部分.第1节介绍复杂度分析的背景和理论框架,给出复杂度分析的定义、方法和例子,并总结本文中的复杂度结论.第2节介绍光滑优化问题的复杂度分析,给出不同优化问题的复杂度上界和下界,并给出加速梯度法收敛性分析的框架.第3节介绍非光滑优化问题的复杂度上界,介绍次梯度法、重心法、椭球法和近似点梯度法的复杂度分析.第4节介绍条件梯度法的复杂度分析,介绍条件梯度法的复杂度上界和下界,以及加速条件梯度法的框架.第5节介绍随机优化算法的复杂度分析,比较随机优化算法在凸和非凸问题下收敛的置信水平和复杂度.     

曲线的一类非线性多分辨率算法及其收敛性

在曲线的多分辨率分析基础上,构造了一种新的非线性三分多分辨率算法.并研究这个正则三分多分辨率算法的收敛性和稳定性,进一步,证明了小波参数的收敛性精密地依靠这个基本的多分辨率细分算法的收敛性.     

随机椭圆最优控制问题的随机配置方法

本文讨论求解随机系数泊松方程约束最优控制问题的有效数值方法.通过应用有限元方法和随机配置法,将原最优控制问题离散转化为最优化问题,再利用交替方向乘子法求解最优化问题.之后,对所提出的算法进行了收敛性分析,并通过数值实验验证了算法的有效性.