推广的Wolfe搜索下一族共轭梯度法的全局收敛性

共轭梯度法是求解无约束优化问题的一种重要的方法,尤其适用于大规模优化问题的求解.本文提出一族包含FR方法和CD方法的新的共轭梯度法,证明了其在推广的Wolfe非精确线搜索条件下具有全局收敛性.最后对算法进行了数值试验,试验结果验证了该算法的有效性。     

无约束优化的一个充分下降共轭梯度算法

在修正PRP共轭梯度法的基础上,提出了求解无约束优化问题的一个充分下降共轭梯度算法,证明了算法在Wolfe线搜索下全局收敛,并用数值实验表明该算法具有较好的数值结果.     

具有充分下降性的改进FR共轭梯度法

本文研究了大规模无约束优化问题,提出了一个基于改进的FR共轭参数公式的共轭梯度法.不依赖于任何线搜索准则,算法所产生的搜索方向总是充分下降的.在标准Wolfe线搜索准则下,获得了新算法的全局收敛性.最后,对所提出的算法进行了初步数值实验,其结果表明所改进的方法是有效的.     

一种改进的共轭梯度法及全局收敛性

本文在DY共轭梯度法的基础上对解决无约束最优化问题提出一种改进的共轭梯度法.该方法在Wolfe线搜索下能够保证充分下降性,并在目标函数可微的条件下,证明了算法的全局收敛性.大量数值试验表明,该方法是很有效的.     

一种WYL型谱共轭梯度法的全局收敛性

为解决大规模无约束优化问题,该文结合WYL共轭梯度法和谱共轭梯度法,给出了一种WYL型谱共轭梯度法.在不依赖于任何线搜索的条件下,该方法产生的搜索方向均满足充分下降性,且在强Wolfe线搜索下证明了该方法的全局收敛性.与WYL共轭梯度法的收敛性相比,WYL型谱共轭梯度法推广了线搜索中参数σ的取值范围.最后,相应的数值结果表明了该方法是有效的.     

一族新的共轭梯度法的全局收敛性

共轭梯度法是求解无约束优化问题的一种重要的方法,尤其适用于大规模优化问题的求解。本文提出一族新的共轭梯度法,证明了其在推广的Wolfe非精确线搜索条件下具有全局收敛性。最后对算法进行了数值试验,试验结果验证了该算法的有效性。     

一种多参数谱三项共轭梯度法

通过求解带有罚参数的优化问题设计共轭梯度法是一种新思路.基于Fatemi的优化问题求解,通过估计步长和选择合适的罚参数建立一个谱三项共轭梯度法,为证得算法的全局收敛性对谱参数进行修正.在标准Wolfe线搜索下证明了该谱三项共轭梯度算法的充分下降性以及全局收敛性.最后,在选取相同算例的多个算法测试结果中表明新方法数值试验性能表现良好.     

两个谱共轭梯度法的全局收敛性及数值效果

谱共轭梯度法是求解无约束优化的一种有效算法.该文首先对JJSL共轭参数[Jiang et al.Computational and Applied Mathematics,2021,40（174）]进行投影修正,再通过选取合适谱参数以保证其搜索方向有下降性,从而得到两个有效的谱共轭梯度法.一般假设下,分别使用常规非精确线搜索计算步长,获得这两个新算法的全局收敛性.数值试验结果以及相应性能图进一步说明其数值有效性.     

Wolfe步长规则下约束优化问题的共轭梯度投影算法

本文研究了约束优化问题min x∈Ωf(x).利用共轭梯度算法与GLP梯度投影思想相结合的方法,构造了一个新的共轭梯度投影算法,并在Wolfe线搜索下获得了该算法的全局收敛性结果.     

谱Hestenes-Stiefel共轭梯度算法及其收敛性

谱共轭梯度算法是求解大规模无约束最优化问题的有效算法之一.基于Hestenes-Stiefel算法与谱共轭梯度算法,提出一种谱Hestenes-Stiefel共轭梯度算法.在Wolfe线搜索下,算法产生的搜索方向具有下降性质,且全局收敛性也能得到证明.通过对CUTEr函数库中部分著名的函数进行试验,利用著名的DolanMore评价体系,展示了新算法的有效性.     

一个拟极小化左共轭梯度算法及其数值表现

左共轭梯度法是求解大型稀疏线性方程组的一种新兴的Krylov子空间方法.为克服该算法数值表现不稳定、迭代中断的缺点,本文对原方法进行等价变形,得到左共轭梯度方向的另一迭代格式,给出一个拟极小化左共轭梯度算法.数值结果证实了该变形算法与原算法的相关性.     

改进共轭梯度法求解无约束二次凸规划问题

针对共轭梯度法求解无约束二次凸规划时,在构造共轭方向上的局限性,对共轭梯度法进行了改进.给出了构造共轭方向的新方法,利用数学归纳法对新方法进行了证明.同时还给出了改进共轭梯度法在应用时的基本计算过程,并对方法的收敛性进行了证明.通过实例求解,说明了在求解二次无约束凸规划时,该方法相比共轭梯度法具有一定的优势.     

Convergence of the Nonmonotone Perry and Shanno Method for Optimization

In this paper a new nonmonotone conjugate gradient method is introduced, which can be regarded as a generalization of the Perry and Shanno memoryless quasi-Newton method. For convex objective functions, the proposed nonmonotone conjugate gradient method is proved to be globally convergent. Its global convergence for non-convex objective functions has also been studied. Numerical experiments indicate that it is able to efficiently solve large scale optmization problems.     

Semi-Conjugate Direction Methods for Real Positive Definite Systems

In this preliminary work, left and right conjugate direction vectors are defined for nonsymmetric, nonsingular matrices A and some properties of these vectors are studied. A left conjugate direction (LCD) method for solving nonsymmetric systems of linear equations is proposed. The method has no breakdown for real positive definite systems. The method reduces to the usual conjugate gradient method when A is symmetric positive definite. A finite termination property of the semi-conjugate direction method is shown, providing a new simple proof of the finite termination property of conjugate gradient methods. The new method is well defined for all nonsingular M-matrices. Some techniques for overcoming breakdown are suggested for general nonsymmetric A. The connection between the semi-conjugate direction method and LU decomposition is established. The semi-conjugate direction method is successfully applied to solve some sample linear systems arising from linear partial differential equations, with attractive convergence rates. Some numerical experiments show the benefits of this method in comparison to well-known methods. This revised version was published online in July 2006 with corrections to the Cover Date.     

A Linear Hybridization of Dai-Yuan and Hestenes-Stiefel Conjugate Gradient Method for Unconstrained Optimization

Conjugate gradient methods are interesting iterative methods that solve large scale unconstrained optimization problems. A lot of recent research has thus focussed on developing a number of conjugate gradient methods that are more effective. In this paper, we propose another hybrid conjugate gradient method as a linear combination of Dai-Yuan (DY) method and the Hestenes-Stiefel (HS) method. The sufficient descent condition and the global convergence of this method are established using the generalized Wolfe line search conditions. Compared to the other conjugate gradient methods, the proposed method gives good numerical results and is effective.     

AN ADAPTIVE MULTI-SCALE CONJUGATE GRADIENT METHOD FOR DISTRIBUTED PARAMETER ESTIMATION OF 2-D WAVE EQUATION

An adaptive multi-scale conjugate gradient method for distributed parameter estimations (or inverse problems) of wave equation is presented. The identification of the coefficients of wave equations in two dimensions is considered. First, the conjugate gradient method for optimization is adopted to solve the inverse problems. Second, the idea of multi-scale inversion and the necessary conditions that the optimal solution should be the fixed point of multi-scale inversion method is considered. An adaptive multi-scale inversion method for the inoerse problem is developed in conjunction with the conjugate gradient method. Finally, some numerical results are shown to indicate the robustness and effectiveness of our method.     

一个共轭梯度方法全局收敛性的判别准则

本文建立了一个共轭梯度方法全局收敛性的判别准则,基于这一准则证明了一类三参数共轭梯度法的全局收敛性及DY方法的一个变形的全局收敛性.     

Wolfe搜索下的一种共轭梯度法

研究无约束优化问题的共轭梯度算法,提出了一种计算主要参数的新形式,分析了Wolfe搜索下该算法的全局收敛性.     

Chan-Vese模型的共轭梯度算法

随着图像采集设备的发展和对图像分辨率要求的提高,人们对图像处理算法在收敛速度和鲁棒性方面提出了更高的要求.从优化的角度对Chan-Vese模型进行算法上的改进,即将共轭梯度法应用到该模型中,使得新算法有更快的收敛速度.首先,简单介绍了Chan-Vese模型的变分水平集方法的理论框架;其次,将共轭梯度算法引入到该模型的求解,得到了模型的新的数值解方法;最后,将得到的算法与传统求解Chan-Vese模型的最速下降法进行了比较.数值实验表明,提出的共轭梯度算法在保持精度的前提下有更快的收敛速度.     

改进HS共轭梯度算法及其全局收敛性

１．引 言 １９５２年 Ｍ．Ｈｅｓｔｅｎｅｓ和Ｅ．Ｓｔｉｅｆｅｌ提出了求解正定线性方程组的共轭梯度法［１］．１９６４年Ｒ．Ｆｌｅｔｃｈｅｒ和Ｃ．Ｒｅｅｖｅｓ将该方法推广到求解下列无约束优化问题： ｍｉｎｆ（ｘ）,ｘ∈Ｒｎ,（１）其中ｆ：Ｒｎ→Ｒ１为连续可微函数,记ｇｋ＝ ｆ（ｘｋ）,ｘｋ∈ Ｒｎ． 若点列｛ｘｋ｝由如下算法产生：其中 βｋ＝［ｇＴｋ（ｇｋ－ｇｋ－１）］／［ｄＴｋ－１（ｇｋ－ｇｋ－１）］．（Ｈｅｓｔｅｎｅｓ－Ｓｔｉｅｆｅｌ）　　（４）则称该算法为 Ｈｅｓｔｅｎｅｓ—Ｓｔｉｅｆｅｌ共轭梯度算…