约束优化问题的几类拟牛顿法

§1.引言 无约束优化的有效算法——拟牛顿法,自1976年由Garcia、Mangasarian和S.P.Han等人应用到约束优化问题以来,一直是非线性规划领域内潮流性课题。由于此类方法有良好的收敛性质因而很受欢迎。但复杂的一维搜索函数的引入也带来了一些显而易见的问题:(1)要求搜索函数有较好的性质而引出较强的假设条件;(2)罚因子的不确定性以及(3)算法产生的点列一般不可行,因而会使搜索方向子问题无可行解,导致算法失效。另外,子问题要用全部约束来构造,这又会增加计算量。     

求解非线性互补问题的逐次逼近拟牛顿法的收敛性分析

提出了求解非线性互补问题的一个逐次逼近拟牛顿算法。在适当的假设下,证明了该算法的全局收敛性和局部超线性收敛性。     

矩阵乘积形式的有限存贮拟牛顿法

1 引言 考虑无约束优化问题 minf(x),(1.1) x∈R~n其中f为非线性町微函数。 对于中小规模的无约束优化问题,拟牛顿法(如BFGS方法)是十分有效的。但对于大规模问题,即n相当大时,算法所需存贮相当重要,并且在每次迭代中线代数计算量也影响算法的效率。 有限存贮((1imited memory)拟牛顿法可看成是共轭梯度法的推广。这一类方法最早由Perry和Shanno提出,此后有不少人进行研究,如Gill和Murray,Buckley,Buckley和LeNir及Nocedal。 有限存贮BFGS方法由Nocedal提出,是目前一种十分有效的有限存贮拟牛顿方法,其基本出法点是减少存贮。由于BFGS修正公式可写成     

锥模型拟牛顿法

1 引 言 对于求解无约束最优化问题 min f(x),f:R~n→R,f∈C~2。Davidon提出了一类非二次模型方法,即锥函数近似模型 f(x)≈c(x)=f(x_k)+(f(x_k)~T(x-x_k))/((1-h_k~T(x-x_k))+1/2((x-x_k)~TA_k(x-x_k))/([1-h_k~T(x-x_k)]~2) (1.1)和共线调比变换     

广义拟Newton法及其收敛性定理

1引言设R~n.R_+n.R_+~n分别表示Euclidean空间及R~n的非负和正子空间：符号┃·┃表示向量或矩阵的2-范数，非线性互补问题（NLCP）     

一种解决不等式约束优化问题的光滑牛顿法

本通过引入松弛变量和Fischer函数把带有不等式约束优化问题的K-T条件转化为一个等价的非线性系统，并引入一参数μ，从而提出了一种新的光滑牛顿法。在适当的条件下，证明了算法的全局收敛性，并提供了数值结果。     

一个求概率约束规划的随机拟次梯度算法

概率约束规划是经常费到的一类规划，但其约束函数含有概率，在一般场合下，很难求出，随机拟次梯度法无须计算约束值与导数值，只要构造出约束函数目标函数的随机拟次梯度即可，本文给出了一个求解概率约束规划的随机拟次梯度算法，并证明了有关的定量及性质。     

基于非单调线搜索非拟牛顿法的全局收敛性

本文就非拟牛顿法在无约束最优化问题上，对采用非单调线搜索的情况下是否具有全局收敛性进行了研究，在目标函数满足一致凸的条件下，证明了非拟牛顿族是全局收敛的．     

非单调带参数Perry-Shanno无记忆拟牛顿法的收敛性

给出了一种非单调带参数的Perry-Shanno无记忆拟牛顿法, 对于目标函数为凸函数, 在参数满足适当范围的情况下, 证明了算法的全局收敛性.     

具简单界约束变分不等式的拟牛顿算法的收敛性分析

１．引言 牛顿型方法是解变分不等式的一类重要数值迭代算法．其局部收敛性质的研究也取得了很好的成果（见［５］等）．近几年来,此类算法的全局收敛性研究也得到了许多进展．如阻尼牛顿法的局部超线性乃至二阶收敛性质的研究（见［４,６,９; １１, １２, １４; １６］等）．然而,对于计算上更为实用的拟牛顿法的研究还不多见．文［１８］基于祁力群等在［１４］中给出的逐次逼近牛顿型法,建立了一种解非线性互补问题的拟牛顿法,并得到了类Ｂｒｏｙｄｅｎ算法的全局收敛性．但是,该方法有以下两个缺陷：１．线搜索可能不能实现…     

求解广义非线性互补问题的光滑化拟牛顿法

利用光滑对称扰动Fischer-Burmeister函数将广义非线性互补问题转化为非线性方程组,提出新的光滑化拟牛顿法求解该方程组.然后证明该算法是全局收敛的,且在一定条件下证明该算法具有局部超线性(二次)收敛性.最后用数值实验验证了该算法的有效性.     

BFGS校正拟牛顿法解决大规模信号恢复问题

本文采用BFGS校正拟牛顿法研究了大规模信号恢复问题min{u 1:Au=b},这个问题通常被转化为1正则化最小二乘问题.利用Nesterov光滑化技术对u 1进行光滑化处理,原问题被转化为无约束光滑凸规划问题,最后获得了较好的数值实验结果,实验结果表明用BFGS校正拟牛顿法解决大规模信号恢复问题是可行的.     

一类非拟Newton算法及其收敛性

本文对求解无约束最优化问题提出一类非拟Ｎｅｗｔｏｎ算法，此方法同样具有二次终止性，产生的矩阵序列保持正定对称传递性，并证明了新类中的任何一种算法的全局收敛和超线性收敛性。     

一类非线性约束优化的修正正割方法的收敛性

本文修正了一类非线性约束优化的正割方法.通过引入不可微势函数作不精确的一维搜索,证明了修正后的正割算法不仅具有原算法不具备的整体收敛性;而且保持局部两步Q-超线性收敛速率.进一步数值结果表明此算法是非常有效的.     

关于双层规划约束规格的一个注记

本文表明了非线性规划中常见的约束规格对一般双层规划不成立,并对双层规划可以满足的较弱的约束规格“部分平静”,给出了使其成立的充分条件．     

非线性回归模型中的约束拟似然

在非线性回归模型中,拟得分函数是一类线性无偏估计函数中的最优者(GodambeandHeyde(1987),朱仲义(1996)),而由拟得分函数得到的拟似然估计在由线性无偏估计函数得到的估计类中具有渐近最优性(林路(1999)).本文则研究非线性回归模型中的有偏估计函数理论,构造了参数的约束拟似然估计,得到了约束拟似然的局部最优性,局部改进了拟似然估计,从而扩充了线性模型中的有偏估计理论.     

求解拟可微方程组的非精确牛顿法

本文首次给出拟可微方程的非精确牛顿算法 ,其适定性是基于广义的 Kakutani不动点定理得到的 ,并证明了算法产生的序列是局部收敛的且具有线性收敛速度     

三阶方向牛顿法的收敛性

通过递推关系,证明了解希尔伯特空间上的实系数非线性方程组的三阶方向牛顿法的半局部收敛性,给出了解的存在性以及先验误差界,最后计算出一些数值结果来证明我们的结论.     

一维凸函数牛顿法的全局收敛性及其应用

牛顿法是求解非线性方程F（x)＝0的一种经典方法。在一般假设条件下，牛顿法只具有局部收敛性。本文证明了一维凸函数牛顿法的全局收敛性，并且给出了它在全局优化积分水平集方法中的应用。