求解无约束优化问题的新谱共轭梯度法及其收敛性

强Wolfe条件不能保证标准CD共轭梯度法全局收敛．本文通过建立新的共轭参数,提出无约束优化问题的一个新谱共轭梯度法,该方法在精确线搜索下与标准CD共轭梯度法等价,在标准wolfe线搜索下具有下降性和全局收敛性．初步的数值实验结果表明新方法是有效的,适合于求解非线性无约束优化问题．     

Wolfe步长规则下约束优化问题的共轭梯度投影算法

本文研究了约束优化问题min x∈Ωf(x).利用共轭梯度算法与GLP梯度投影思想相结合的方法,构造了一个新的共轭梯度投影算法,并在Wolfe线搜索下获得了该算法的全局收敛性结果.     

限制PR共轭梯度法及其全局收敛性

PR共轭梯度法是求解大型无约束优化问题的有效算法之一，但是算法的全局收敛性在理论上一直没有得到解决。本文将PR共轭梯度法中的参数β加以限制，提出了限制R共轭梯度法，证明了Armijo搜索下算法的全局收敛性、数值试验表明算法是很有效的。     

一种WYL型谱共轭梯度法的全局收敛性

为解决大规模无约束优化问题,该文结合WYL共轭梯度法和谱共轭梯度法,给出了一种WYL型谱共轭梯度法.在不依赖于任何线搜索的条件下,该方法产生的搜索方向均满足充分下降性,且在强Wolfe线搜索下证明了该方法的全局收敛性.与WYL共轭梯度法的收敛性相比,WYL型谱共轭梯度法推广了线搜索中参数σ的取值范围.最后,相应的数值结果表明了该方法是有效的.     

一个具有充分下降性的混合共轭梯度法

混合共轭梯度法是一个改进的新共轭梯度法,有着比较好的数值表现.在Jia提出的混合共轭梯度法基础上,建立了一个新的具有充分下降性的混合共轭梯度算法;并证明了该算法在强Wolfe型线搜索下具有全局收敛性.数值实验结果表明该算法是有效的.     

一个自调节Polak-Ribiere-Polyak型共轭梯度法

共轭梯度法是求解大规模无约束优化问题最有效的方法之一.基于Polak-RibièrePolyak(PRP)共轭梯度法具有较弱的收敛性和较好的数值表现,而Fletcher-Reeves(FR)共轭梯度法则反之,本文研究PRP共轭梯度法的一个自调节改进.在PRP公式引入调节因子,并据此提出了一个自调节PRP共轭梯度法.改进的方法具有PRP方法所特有的性质(*)及FR方法良好的收敛性·在强Wolfe非精确线搜索条件和常规假设下,证明了新方法不仅满足充分下降条件,而且全局收敛.最后,对新算法进行数值测试并与其他同类方法进行比较,结果表明所提方法是有效的.     

一类共轭梯度法的全局收敛性

共轭梯度法是求解大规模元约束优化同题的一种有效方法，本文提出一种新的共轭梯度法，证明了在推广的Wolfe线搜索条件下方法具有全局收敛性。最后对算法进行了数值试验，试验结果表明该算法具有良好的收敛性和有效性。     

一个自适应Dai-Liao共轭梯度法

共轭梯度法是求解大规模无约束优化问题的经典方法之一.基于搜索方向矩阵的谱条件数,给出了一个Dai-Liao(DL)共轭梯度法中参数的自适应形式,提出一种自适应DL共轭梯度算法.在适当的条件下,对于一致凸的目标函数证明了该方法具有全局收敛性.数值结果表明,提出的方法是可行的.     

一种多参数谱三项共轭梯度法

通过求解带有罚参数的优化问题设计共轭梯度法是一种新思路.基于Fatemi的优化问题求解,通过估计步长和选择合适的罚参数建立一个谱三项共轭梯度法,为证得算法的全局收敛性对谱参数进行修正.在标准Wolfe线搜索下证明了该谱三项共轭梯度算法的充分下降性以及全局收敛性.最后,在选取相同算例的多个算法测试结果中表明新方法数值试验性能表现良好.     

约束优化问题的修正共轭梯度投影算法

对闭凸集约束的非线性规划问题构造了一个修正共轭梯度投影下降算法,在去掉迭代点列有界的条件下,分析了算法的全局收敛性.新算法与共轭梯度参数结合,给出了三类结合共轭梯度参数的修正共轭梯度投影算法.数值例子表明算法是有效的.     

建立在修正BFGS公式基础上的新的共轭梯度法

共轭梯度法是一类非常重要的用于解决大规模无约束优化问题的方法. 本文通过修正的BFGS公式提出了一个新的共轭梯度方法. 该方法具有不依赖于线搜索的充分下降性. 对于一般的非线性函数, 证明了该方法的全局收敛性. 数值结果表明该方法是有效的.     

A NOTE ON THE NONLINEAR CONJUGATE GRADIENT METHOD

The conjugate gradient method for unconstrained optimization problems varies with a scalar. In this note, a general condition concerning the scalar is given, which ensures the global convergence of the method in the case of strong Wolfe line searches. It is also discussed how to use the result to obtain the convergence of the famous Fletcher-Reeves, and Polak-Ribiere-Polyak conjugate gradient methods. That the condition cannot be relaxed in some sense is mentioned.     

Convergence of Liu–Storey conjugate gradient method

The conjugate gradient method is a useful and powerful approach for solving large-scale minimization problems. Liu and Storey developed a conjugate gradient method, which has good numerical performance but no global convergence result under traditional line searches such as Armijo, Wolfe and Goldstein line searches. In this paper a convergent version of Liu–Storey conjugate gradient method (LS in short) is proposed for minimizing functions that have Lipschitz continuous partial derivatives. By estimating the Lipschitz constant of the derivative of objective functions, we can find an adequate step size at each iteration so as to guarantee the global convergence and improve the efficiency of LS method in practical computation.     

Efficient hybrid conjugate gradient techniques

Descent property and global convergence proofs are given for a new hybrid conjugate gradient algorithm. Computational results for this algorithm are also given and compared with those of the Fletcher-Reeves method and the Polak-Ribière method, showing a considerable improvement over the latter two methods. We also give new criteria for restarting conjugate gradient algorithms that prove to be computationally very efficient. These criteria provide a descent property and global convergence for any conjugate gradient algorithm using a nonnegative update .     

修正PRP共轭梯度方法求解无约束最优化问题

基于著名的PRP共轭梯度方法,利用CG_DESCENT共轭梯度方法的结构,本文提出了一种求解大规模无约束最优化问题的修正PRP共轭梯度方法。该方法在每一步迭代中均能够产生一个充分下降的搜索方向,且独立于任何线搜索条件。在标准Wolfe线搜索条件下,证明了修正PRP共轭梯度方法的全局收敛性和线性收敛速度。数值结果展示了修正PRP方法对给定的测试问题是非常有效的。     

修正PRP共轭梯度方法求解无约束最优化问题

基于著名的PRP共轭梯度方法,利用CG_DESCENT共轭梯度方法的结构,本文提出了一种求解大规模无约束最优化问题的修正PRP共轭梯度方法。该方法在每一步迭代中均能够产生一个充分下降的搜索方向,且独立于任何线搜索条件。在标准Wolfe线搜索条件下,证明了修正PRP共轭梯度方法的全局收敛性和线性收敛速度。数值结果展示了修正PRP方法对给定的测试问题是非常有效的。     

Conjugate Gradient Methods with Armijo-type Line Searches

Abstract Two Armijo-type line searches are proposed in this paper for nonlinear conjugate gradient methods.Under these line searches, global convergence results are established for several famous conjugate gradientmethods, including the Fletcher-Reeves method, the Polak-Ribiere-Polyak method, and the conjugate descentmethod.     

Convergence of the Nonmonotone Perry and Shanno Method for Optimization

In this paper a new nonmonotone conjugate gradient method is introduced, which can be regarded as a generalization of the Perry and Shanno memoryless quasi-Newton method. For convex objective functions, the proposed nonmonotone conjugate gradient method is proved to be globally convergent. Its global convergence for non-convex objective functions has also been studied. Numerical experiments indicate that it is able to efficiently solve large scale optmization problems.     

Modified nonlinear conjugate gradient methods with sufficient descent property for large-scale optimization problems

It is well known that the sufficient descent condition is very important to the global convergence of the nonlinear conjugate gradient method. In this paper, some modified conjugate gradient methods which possess this property are presented. The global convergence of these proposed methods with the weak Wolfe–Powell (WWP) line search rule is established for nonconvex function under suitable conditions. Numerical results are reported. This work is supported by Guangxi University SF grands X061041 and China NSF grands 10761001.     

包含FR方法的一类无约束极小化方法的全局收敛性

本文对包含Fletcher-Reeves共轭梯度法的一类无约束最优化方法的全局收敛性进行了研究．Fletcher-Reeves方法的某些性质在收敛性分析中起着重要的作用．我们以一种简单的方式证明了这类方法在一种Wolfe型非精确线搜索条件下对光滑的非凸函数具有下降性和全局收敛性．全局收敛性结果也被推广到了一种广义Wolfe型非精确线搜索．