一类带非精确线性搜索的 DFP 算法

众所周知,以DFP和BFGS为代表的拟牛顿法是解无约束非线性规划问题:min{f(x);x∈R~n}的最常用和最有效的方法之一。但是在实际计算中,若选择步长因子时作的线性搜索“低精度”时,DFP算法的计算效果有时并不理想。而且,尽管1976年Powell证明了带非精确线性搜索的BFGS算法有一步超线性收敛率,1988年吴士泉采用重复使用原始正定矩阵的方法使得算法中用到的变尺度矩阵及其逆阵的迹有界,并且证明这类修改后的DFP算法,对一致凸目标函数,当线性搜索是非精确时,也具有一步超线性收敛率。但是对一般的DFP算法相应的结论是否成立,至今还是一个没有解决的问题。     

带调整线搜索方向的变尺度算法

为了确保变尺度算法在“坏条件”下的收敛性，本文提出对原算法的线搜索方向作适当地调整的方法，并且证明了带调整线搜索方向的Ｂｒｏｙｄｅｎ类算法，无论线搜索是否精确，它对连接可微函数是收敛的，对一致凸函数是Ｑ－超线性收敛的。     

一类带非精确线搜索的修改的Broyden算法

对于文（８）和（１４）中提出的修改的Ｂｒｏｙｄｅｎ算法，本文讨论它在线搜索非精确时的收敛性质，证明这类算法作用于梯度满足Ｌｉｐｓｃｈｉｔｚ条件的目标函数时是整体收敛的，当目标函数一致凸时，算法是Ｑ－超线性收敛和二阶收敛的。     

基于非单调线搜索非拟牛顿法的全局收敛性

本文就非拟牛顿法在无约束最优化问题上，对采用非单调线搜索的情况下是否具有全局收敛性进行了研究，在目标函数满足一致凸的条件下，证明了非拟牛顿族是全局收敛的．     

临界点的局部结构与一类负曲率算法

一、引言对于收敛于函数临界点的算法，如果目标函数为一致凸，则算法终止时已得到了最小值点，但如果目标函数为非一致凸的函数，情况可能并非如此．为此Mccormick，Moré＆Soreuiseu，Goldfarb等构造了一类以负曲率为搜索方向的算法，其特点是算法终止于函数的Hessian矩阵为半径正定的临界点．本文的工作是对Goldfarb等人的算法在退化情况下作进一步讨论，通过引进l×m×n矩阵及其运算，改进了Morsé命题，给出了函数在临界点局部结构，并以此构造了一类新的以负曲率为搜索方向的算法．定义1设定义2设（i）加法：（ii）数乘：显然R上…     

一个基于非单调技术的超记忆梯度法

本文给出一个修正的非单调线搜索策略,并结合该策略提出一个求解无约束优化问题的超记忆梯度算法.该算法的主要特点是:在每一次迭代中,它所产生的搜索方向总是满足充分下降条件.这一特性不依赖于目标函数的凸性以及方法所采用的线搜索策略.在较弱的条件下,该方法具有全局收敛和局部R-线性收敛性.数值实验表明了该方法的有效性.     

非拟牛顿非凸族的收敛性

１．引言 对于无约束最优化问题拟牛顿法是目前最成熟,应用最广泛的解法之一．近二十多年来,对拟牛顿法收敛性质的研究一直是非线性最优化算法理论研究的热点．带非精确搜索的拟牛顿算法的研究是从１９７６年 Ｐｏｗｅｌｌ［１］开始,他证明了带 Ｗｏｌｆｅ搜索 ＢＦＧＳ算法的全局收敛性和超线性收敛性． １９７８年 Ｂｙｒｄ, Ｎｏｃｅｄａｌ; Ｙａ－Ｘｉａｎｇ Ｙｕａｎ［３］成功地将 Ｐｏｗｅｌｌ的结果推广到限制的 Ｂｒｏｓｄｅｎ凸族． １９８９年, Ｎｏｃｅｄａｌ［４］在目标函数一致凸的条件下,证明了带回追搜索的ＢＦＧ…     

强Wolfe线搜索下一个新的优化算法

本文主要研究了一个新的优化算法.首先,利用给出的新的公式和强Wolfe线搜索,证明了该算法在不要求搜索方向满足共轭性条件下具有充分下降性和全局收敛性;其次,利用目标函数为一致凸函数的假设,证明了该算法具有线性收敛速率;最后,利用数值试验,验证了新算法是有效的、可行的.     

两个修改BFGS算法的收敛性

本文以下内容是这样安排的:第二节给出一个统一算法模型(GBFGS),并在假设目标函数一致凸的条件下证明该算法具有全局收敛性和局部超线性收敛性;作为第二节理论的应用,我们在第三节证明Biggs算法和Yuan算法的收敛性质.     

修改的DFP算法

众所周知,以DFP和BFGS为代表的变尺度算法是数学规划中最常用和最有效的方法之一.但是在不假定目标函数f(x)是凸的情况下,这类算法的整体收敛性还是一个没有完全解决的问题.本文提出一类修改的DFP算法,简称为MDFP算法.具体步骤如下:     

A Class of Revised Broyden Algorithms Without Exact Line Search

In this paper, we discuss the convergence of the Broyden algorithms with revised search direction. Under some inexact line searches, we prove that the algorithms are globally convergent for continuously differentiable functions and the rate of local convergence of the algorithms is one-step superlinear and n-step second-order for uniformly convex objective functions.     

不等式约束优化的非单调可行信赖域-SQP算法

本文讨论不等式约束优化问题,给出一个信赖域方法与SQP方法相结合的新的可行算法,算法中采用了压缩技术,使得QP子问题产生的搜索方向尽可能为可行方向,并且采用了高阶校正的方法来克服算法产生的Maratos效应现象.在适当的条件下,证明了算法的全局收敛性和超线性收敛性.数值结果表明算法是有效的.     

一个新的SQP方法及其超线性收敛性

由Ｗｉｌｓｏｎ,Ｈａｎ,Ｐｏｗｅｌｌ发展的ＳＱＰ技术是解非线性规划的最有效的方法之一,但是,如果其中的二次子规划问题无可行解或者其搜索方向向量无界,该方法ａｎ和Ｂｕｒｋｅ「３」,周广路「２」分别对二次规划问题作了修正,克服了上述矛盾,本文在「２」的基础上,进上步修正,证明在Ａｒｍｉｊｏ搜索下算法具有全局收敛性,并通过解一辅助线性方程组,利用弧式搜索,得出该方法具有超线性收敛性。     

Armijo线性搜索下的多步下降算法

本文研究无约束优化问题.利用前面多步迭代点的信息产生下降方向以及Armijo线性搜索产生步长,得到了一类新的多步下降算法,并且在较弱条件下证明了算法具有全局收敛性和线性收敛速率.初步的数值试验表明算法是有效的.     

结合Armijo步长搜索的一类新的记忆梯度算法及其收敛特征

对求解无约束规划的超记忆梯度算法中线搜索方向中的参数,给了一个假设条件,从而确定了它的一个新的取值范围,保证了搜索方向是目标函数的充分下降方向,由此提出了一类新的记忆梯度算法.在去掉迭代点列有界和Armijo步长搜索下,讨论了算法的全局收敛性,且给出了结合形如共轭梯度法FR,PR,HS的记忆梯度法的修正形式.数值实验表明,新算法比Armijo线搜索下的FR、PR、HS共轭梯度法和超记忆梯度法更稳定、更有效.     

An improved feasible QP-free algorithm for inequality constrained optimization

In this paper, an improved feasible QP-free method is proposed to solve nonlinear inequality constrained optimization problems. Here, a new modified method is presented to obtain the revised feasible descent direction. In view of the computational cost, the most attractive feature of the new algorithm is that only one system of linear equations is required to obtain the revised feasible descent direction. Thereby, per single iteration, it is only necessary to solve three systems of linear equations with the same coefficient matrix. In particular, without the positive definiteness assumption on the Hessian estimate, the proposed algorithm is still global convergence. Under some suitable conditions, the superlinear convergence rate is obtained.     

A nonmonotone PSB algorithm for solving unconstrained optimization

PSB (Powell-Symmetric-Broyden) algorithm is a very important algorithm and has been extensively used in trust region methods. However, there are few studies on the line search type PSB algorithm. The primary reason is that the direction generated by this class of algorithms is not necessarily a descent direction of the objective function. In this paper, by combining a nonmonotone line search technique with the PSB method, we propose a nonmonotone PSB algorithm for solving unconstrained optimization. Under proper conditions, we establish global convergence and superlinear convergence of the proposed algorithm. At the same time we verify the efficiency of the proposed algorithm by some numerical experiments.     

Global convergence rates for descent algorithms: Improved results for strictly convex problems

Convergence to the minimal value is studied for the important type of descent algorithm which, at each interation, uses a search direction making an angle with the negative gradient which is smaller than a prespecified angle. Improvements on existing convergence rate results are obtained.Paper received on 4 October, 1977; in revised form, April 3, 1978     

非凸非精确线搜索时Broyden算法的收敛性

讨论在非凸非精确线搜索时,Broyden算法的的收敛性. 证明当Broyden算法得到的点列收敛时, 该点列一定趋向于稳定点.     

BFGS算法对非凸函数优化问题的收敛性

ＢＦＧＳ算法是无约束最优化中最著名的数值算法之一,对非凸函数ＢＦＧＳ算法是否具有整体收敛性,这是一个ｏｐｅｎ问题,本文考虑Ｗｏｌｆｏ线搜索下目标函数非凸的ＢＦＧＳ算法,我们给出一个使该算法收敛的充分条件。