一个修正HS共轭梯度法及其收敛性

It is well-known that the direction generated by Hestenes-Stiefel (HS) conjugate gradient method may not be a descent direction for the objective function. In this paper, we take a little modification to the HS method, then the generated direction always satisfies the sufficient descent condition. An advantage of the modified Hestenes-Stiefel (MHS) method is that the scalar βkH Sffikeeps nonnegative under the weak Wolfe-Powell line search. The global convergence result of the MHS method is established under some mild conditions. Preliminary numerical results show that the MHS method is a little more efficient than PRP and HS methods.     

一种修正的HS共轭梯度法及全局收敛性

<正>1引言考虑无约束极小化问题:(?),(1)其中f(x)连续可微,其梯度函数用g(x)表示.共轭梯度法求解(1)的常用迭代格式为:x_(k+1)=x_k+α_kd_k,(2)(?)(3)其中g_k=▽f(x_k),α_k≥0是由某种线搜索得到的步长因子;d_k为搜索方向,β_k为标量,β_k的不同选择产生了不同的共轭梯度法.著名的β_k公式有:     

改进HS共轭梯度算法及其全局收敛性

１．引 言 １９５２年 Ｍ．Ｈｅｓｔｅｎｅｓ和Ｅ．Ｓｔｉｅｆｅｌ提出了求解正定线性方程组的共轭梯度法［１］．１９６４年Ｒ．Ｆｌｅｔｃｈｅｒ和Ｃ．Ｒｅｅｖｅｓ将该方法推广到求解下列无约束优化问题： ｍｉｎｆ（ｘ）,ｘ∈Ｒｎ,（１）其中ｆ：Ｒｎ→Ｒ１为连续可微函数,记ｇｋ＝ ｆ（ｘｋ）,ｘｋ∈ Ｒｎ． 若点列｛ｘｋ｝由如下算法产生：其中 βｋ＝［ｇＴｋ（ｇｋ－ｇｋ－１）］／［ｄＴｋ－１（ｇｋ－ｇｋ－１）］．（Ｈｅｓｔｅｎｅｓ－Ｓｔｉｅｆｅｌ）　　（４）则称该算法为 Ｈｅｓｔｅｎｅｓ—Ｓｔｉｅｆｅｌ共轭梯度算…     

修正Hestenes-Stiefel共轭梯度算法

本文探讨了Hestenes－Stiefel（HS）共轭梯度算法的收敛性条件．在无充分下降性条件下，证明了一种修正的HS共轭梯度算法的整体收敛性．     

建立在修正BFGS公式基础上的新的共轭梯度法

共轭梯度法是一类非常重要的用于解决大规模无约束优化问题的方法. 本文通过修正的BFGS公式提出了一个新的共轭梯度方法. 该方法具有不依赖于线搜索的充分下降性. 对于一般的非线性函数, 证明了该方法的全局收敛性. 数值结果表明该方法是有效的.     

无约束最优化的Polak—Ribiere和Hestenes—Stiefel共轭梯度法的全局收敛性

本文在很弱的条件下得到了无约束最优化的Polak-Ribiere和Hestenes-Stiefel共轭梯度法的全局收敛性的新结果,这里PR方法和HS方法中的参数β^PRk和β^HSk可以在某个负的区域内取值,这一负的区域与k有关,这些新的收敛性结果改进了文献中已有的结果。数值检验的结果表明了本文中新的PR方法和HS方法是相当有效的。     

无约束最优化的Polak-Ribière和Hestenes-Stiefel共轭梯度法的全局收敛性

本文在很弱的条件下得到了关于无约束最优化的Ｐｏｌａｋ—Ｒｉｂｉｅｒｅ和Ｈｅｓｔｅｎｅｓ－Ｓｔｉｅｆｅｌ共轭梯度法的全局收敛性的新结果,这里 ＰＲ方法和ＨＳ方法中的参数β_k~(PR)和β_k~HS可以在某个负的区域内取值,这一负的区域与ｋ有关．这些新的收敛性结果改进了文献中已有的结果．数值检验的结果表明了本文中新的 ＰＲ方法和 ＨＳ方法是相当有效的．     

大规模非线性互补问题的共轭梯度法

提出求解大规模非线性互补问题NCP(F)的PRP型共轭梯度法,算法自然满足充分下降条件.当F是可微P_0+R_0函数且F'(χ)在水平集上全局Lipschitz连续条件下,证明了算法的全局收敛性.数值结果表明算法的有效性.     

求解对称特征值问题的修正Jacobi共轭预处理梯度法(英文)

对于对称特征值问题,基于对原有复杂Jacobi共轭条件的简化,提出了一种修正的Jacobi共轭预处理梯度法.在理论上证明了在求解单个端部特征值时修正方法与原始方法有着渐近等价的共轭性.而在求解多个端部特征值时,修正方法与原始方法展现出极为相似的收敛性,但其矩阵乘积运算更少,因而计算代价也更小.数值算例进一步验证了修正方法的有效性和优越性.     

求解大规模问题的谱共轭梯度法（英文）

共轭梯度法是求解大规模无约束优化问题的一类重要方法.由于共轭梯度法产生的搜索方向不一定是下降方向,为保证每次迭代方向都是下降方向,本文提出一种求解无约束优化问题的谱共轭梯度算法,该方法的每次搜索方向都是下降方向.当假设目标函数一致凸,且其梯度满足Lipschitz条件,线性搜索满足Wolfe条件时,讨论所设计算法的全局收敛性.     

BFGS校正拟牛顿法解决大规模信号恢复问题

本文采用BFGS校正拟牛顿法研究了大规模信号恢复问题min{u 1:Au=b},这个问题通常被转化为1正则化最小二乘问题.利用Nesterov光滑化技术对u 1进行光滑化处理,原问题被转化为无约束光滑凸规划问题,最后获得了较好的数值实验结果,实验结果表明用BFGS校正拟牛顿法解决大规模信号恢复问题是可行的.     

求解大规模极大极小问题的光滑化三项共轭梯度算法

基于指数罚函数,对最近提出的一种求解无约束优化问题的三项共轭梯度法进行了修正,并用它求解更复杂的大规模极大极小值问题.证明了该方法生成的搜索方向对每一个光滑子问题是充分下降方向,而且与所用的线搜索规则无关.以此为基础,设计了求解大规模极大极小值问题的算法,并在合理的假设下,证明了算法的全局收敛性.数值实验表明,该算法优于文献中已有的类似算法.     

A RESTARTING DIRECTION FOR THE CONJUGATE GRADIENT METHOD

The main purpose of this paper is to provide a restarting direction for improving on the standard conjugate gradient method.If a drastic non-quadratic behaviour of the objective function is observed in the neighbour of xk,then a restart should be done.The scaling symmetric rank-one update with Davidon's optimal criterion is applied to generate the restarting direction.It is proved that the conjugate gradient method with this strategy retains the quadratic termination.Numerical experiments show that it is successful.     

多孔介质中可压缩可混溶驱动问题的共轭梯度迭代法的L2模误差估计

2006年3月 高等学校计算数学学报 1数学模型 多孔介质中可压缩可混溶驱动问题的模型是两个非线性抛物型方程:压力方程和饱 和度方程.Douglass和Roberts曾提出其数学模型并研究了半离散化方法[“一”}.袁益让对 此模型研究了特征一有限元方法[s]和差分法10]. 本人对可压缩可混溶驱动问题的模型曾研究了共扼梯度迭代解与原问题真解的最优 阶H‘模误差估计阁.其中饱和度方程的弥散项为一甲·(D(劝甲c)，而本文讨论的是D(司 情况下的尸模误差估计.就护模而言，对此模型目前尚未有人讨论过.从本文可看到， 由于饱和度方程中含有拭c)鬓这一项，…     

一个共轭梯度方法全局收敛性的判别准则

本文建立了一个共轭梯度方法全局收敛性的判别准则,基于这一准则证明了一类三参数共轭梯度法的全局收敛性及DY方法的一个变形的全局收敛性.     

一种改进的共轭梯度法及全局收敛性

本文在DY共轭梯度法的基础上对解决无约束最优化问题提出一种改进的共轭梯度法.该方法在Wolfe线搜索下能够保证充分下降性,并在目标函数可微的条件下,证明了算法的全局收敛性.大量数值试验表明,该方法是很有效的.     

一类带参数的修正Fletcher-Reeves共轭梯度法

提出了求解无约束优化问题的一类带参数的Fletcher-Reeves共轭梯度法（FR方法）。结合Armiio非精确线性搜索技术,证明了所提出的方法在较弱的条件下是全局收敛的。数值实验表明所提出的方法是有效的。     

基于函数下降量的共轭梯度法

本文提出了一种计算共轭梯度法中主要参数βk的新形式,它的计算与目标函数的下降量有关.并且还构造了它的一种杂交形式.利用了βk的新形式及其杂交形式的共轭梯度法都是收敛的.大量的数值实验表明它们是非常有效和稳健的,能用于大规模科学计算.