约束优化问题的修正共轭梯度投影算法

对闭凸集约束的非线性规划问题构造了一个修正共轭梯度投影下降算法,在去掉迭代点列有界的条件下,分析了算法的全局收敛性.新算法与共轭梯度参数结合,给出了三类结合共轭梯度参数的修正共轭梯度投影算法.数值例子表明算法是有效的.     

解带线性或非线性约束最优化问题的三项记忆梯度Rosen投影算法

利用Rosen投影矩阵，建立求解带线性或非线性不等式约束优化问题的三项记忆梯度Rosen投影下降算法，并证明了算法的收敛性．同时给出了结合FR，PR，HS共轭梯度参数的三项记忆梯度Rosen投影算法，从而将经典的共轭梯度法推广用于求解约束规划问题．数值例子表明算法是有效的。     

求解非线性等式和不等式约束优化问题的三项记忆梯度广义投影算法

利用广义投影矩阵，对求解无约束规划的三项记忆梯度算法中的参数给一条件，确定它们的取值范围，以保证得到目标函数的三项记忆梯度广义投影下降方向，建立了求解非线性等式和不等式约束优化问题的三项记忆梯度广义投影算法，并证明了算法的收敛性．同时给出了结合FR，PR，HS共轭梯度参数的三项记忆梯度广义投影算法，从而将经典的共轭梯度算法推广用于求解约束规划问题．数值例子表明算法是有效的．     

初始点任意的解非线性不等式约束优化问题的结合共轭梯度参数的超记忆梯度广义投影算法

本文利用广义投影矩阵，对求解无约束规划的超记忆梯度算法中的参数给出一种新的取值范围以保证得到目标函数的超记忆梯度广义投影下降方向，并与处理任意初始点的方法技巧结合建立求解非线性不等式约束优化问题的一个初始点任意的超记忆梯度广义投影算法，在较弱条件下证明了算法的收敛性．同时给出结合FR，PR，HS共轭梯度参数的超记忆梯度广义投影算法，从而将经典的共轭梯度法推广用于求解约束规划问题．数值例子表明算法是有效的．     

一个记忆梯度投影方法

本文将记忆梯度法推广到求解带有线性约束的非线性规划问题中去,将记忆梯度投影到适当的线性子空间而得其可行方向,在适当的条件下,证明了算法的整体收敛性。     

基于修正拟牛顿方程的两阶段步长非单调稀疏对角变尺度梯度投影算法

基于修正拟牛顿方程, 利用Goldstein-Levitin-Polyak (GLP)投影技术, 建立了 求解带凸集约束的优化问题的两阶段步长Zhang H.C.非单调变尺度梯度投影方法, 证明了算法的全局收敛性. 数值实验表明算法是有效的, 适合求解大规模问题.     

一个求解非线性不等式约束优化问题的带有共轭梯度参数的广义梯度投影算法

本文提出一个求解非线性不等式约束优化问题的带有共轭梯度参数的广义梯度投影算法.算法中的共轭梯度参数是很容易得到的,且算法的初始点可以任意选取.而且,由于算法仅使用前一步搜索方向的信息,因而减少了计算量.在较弱条件下得到了算法的全局收敛性.数值结果表明算法是有效的.     

基于修正拟牛顿方程的两阶段非单调稀疏对角变尺度梯度投影算法

基于修正拟牛顿方程,利用Goldstein-Levitin-Polyak(GLP)投影技术,建立了求解带凸集约束的优化问题的两阶段步长非单调变尺度梯度投影算法,证明了算法的全局收敛性和一定条件下的Q超线性收敛速率.数值结果表明新算法是有效的,适合求解大规模问题.     

求解界约束优化的一种新的非单调谱投影梯度法

本文给出求解界约束优化问题的一种新的非单调谱投影梯度算法. 该算法是将谱投影梯度算法与Zhang and Hager [SIAM Journal on Optimization,2004,4（4）：1043-1056]提出的非单调线搜索结合得到的方法. 在合理的假设条件下,证明了算法的全局收敛性.数值实验结果表明,与已有的界约束优化问题的谱投影梯度法比较,利用本文给出的算法求解界约束优化问题是有竞争力的.     

线性约束最优化的一个共轭投影梯度法

本结合共轭梯度法及梯度投影法的思想,建立线性等式约束最优化的一个新算法,称之为共轭投影梯度法。分别对二次凸目标函数和一般目标函数分析和论证了算法的重要性质和收敛性。     

Goldstein, Levitin-Polyak投影法中的一个可行步长准则

１引　言设Ω是Ｒｎ空间的一个非空的凸闭紧子集,Ｆ是Ｒｎ→Ｒｎ的算子．我们考虑变分不等式问题： 变分不等式问题在数学规划中起着很重要的作用,因此,长期以来一直受到广泛的重视．求解变分不等式问题的方法中,有一类投影迭代方法,例如［１,４,６,９］．在所有的投影迭代方法中,Ｇｏｌｄｓｔｅｉｎ［６］,Ｌｅｖｉｔｉｎ－Ｐｏｌｙａｋ［９］所提出的方法;是最简单的．这里,ＰΩ（ｘ）是ｘ在　上的投影,即　的唯一解． 我们称算子Ｆ在集合Ω上是单调的,若在用Ｇｏｌｄｓｔｅｉｎ,Ｌｅｖｉｔｉｎ－Ｐｏｌｙａｋ方法（２）求…     

三项记忆梯度法及其投影算法的收敛性分析

对于无约束优化问题,提出了一类新的三项记忆梯度算法．这类算法是在参数满足某些假设的条件下,确定它的取值范围,从而保证三项记忆梯度方向是使目标函数充分下降的方向．在非单调步长搜索下讨论了算法的全局收敛性．为了得到具有更好收敛性质的算法,结合Solodov and Svaiter(2000)中的部分技巧,提出了一种新的记忆梯度投影算法,并证明了该算法在函数伪凸的情况下具有整体收敛性．     

Modified Goldstein–Levitin–Polyak Projection Method for Asymmetric Strongly Monotone Variational Inequalities

In this paper, we present a modified Goldstein–Levitin–Polyak projection method for asymmetric strongly monotone variational inequality problems. A practical and robust stepsize choice strategy, termed self-adaptive procedure, is developed. The global convergence of the resulting algorithm is established under the same conditions used in the original projection method. Numerical results and comparison with some existing projection-type methods are given to illustrate the efficiency of the proposed method.     

A new family of conjugate gradient methods

In this paper we develop a new class of conjugate gradient methods for unconstrained optimization problems. A new nonmonotone line search technique is proposed to guarantee the global convergence of these conjugate gradient methods under some mild conditions. In particular, Polak–Ribiére–Polyak and Liu–Storey conjugate gradient methods are special cases of the new class of conjugate gradient methods. By estimating the local Lipschitz constant of the derivative of objective functions, we can find an adequate step size and substantially decrease the function evaluations at each iteration. Numerical results show that these new conjugate gradient methods are effective in minimizing large-scale non-convex non-quadratic functions.     

Preconditioned conjugate gradient algorithms for nonconvex problems with box constraints

The paper describes new conjugate gradient algorithms for large scale nonconvex problems with box constraints. In order to speed up convergence the algorithms employ scaling matrices which transform the space of original variables into the space in which Hessian matrices of the problem’s functionals have more clustered eigenvalues. This is done by applying limited memory BFGS updating matrices. Once the scaling matrix is calculated, the next few conjugate gradient iterations are performed in the transformed space. The box constraints are treated efficiently by the projection. We also present a limited memory quasi-Newton method which is a special version of our general algorithm. The presented algorithms have strong global convergence properties, in particular they identify constraints active at a solution in a finite number of iterations. We believe that they are competitive to the L-BFGS-B method and present some numerical results which support our claim.