一类超线性收敛的广义拟Newton算法

１引言考虑无约束最优化问题其中目标函数ｆ（ｘ）二阶连续可微,记ｆｋ＝ｆ（ｘ）,当充分小时,有如下近似关系：它们对二次函数皆严格成立．考虑选代其中Ｂ（Ｇ的近似）已知,为某种线搜索确定的步长．对Ｂ修正产生Ｂ,即Ｕ为待定ｎ阶矩阵．若要求Ｂ＋满足关系即Ｂ满足拟Ｎｅｗｔｏｎ方程,由它可导出许多著名的拟Ｎｅｗｔｏｎ算法［１－［４］）．若要求Ｂ满足关系则可导出伪Ｎｅｗｔｏｎ－δ族校正公式,它不再是Ｈｕａｎｇ族成员［６］．从信息资源的利用看,（１．６）仅利用了与信息,（１．７）仅利用了与信息．一般而言,较多的信…     

一类带非精确线性搜索的 DFP 算法

众所周知,以DFP和BFGS为代表的拟牛顿法是解无约束非线性规划问题:min{f(x);x∈R~n}的最常用和最有效的方法之一。但是在实际计算中,若选择步长因子时作的线性搜索“低精度”时,DFP算法的计算效果有时并不理想。而且,尽管1976年Powell证明了带非精确线性搜索的BFGS算法有一步超线性收敛率,1988年吴士泉采用重复使用原始正定矩阵的方法使得算法中用到的变尺度矩阵及其逆阵的迹有界,并且证明这类修改后的DFP算法,对一致凸目标函数,当线性搜索是非精确时,也具有一步超线性收敛率。但是对一般的DFP算法相应的结论是否成立,至今还是一个没有解决的问题。     

三项共轭梯度法收敛性分析

1．引言考虑求解无约束光滑优化问题的线搜索方法其中al事先给定,山为搜索方向,Ik是步长因子．在经典的共轭梯度法中,对k三2,搜索方向dk由负梯度方向一gb和已有搜索方向小．1两个方向组成：其中山—－91,作为参数．关于参数作的计算公式很多,其中两个有名的计算公式称为＊R公式和＊＊P公式（见门和河1叩,它们分别为此处及以下11·11均指欧氏范数．在文献山中,Beale提出了搜索方向形如的三项重开始共轭梯度法,其中dt为重开始方向．Powellll］对这一方法引入了适当的重开始准则,获得了很好的数值结果．本文里,我们将研究搜索方向…     

带非精确线搜索的调整搜索方向DFP算法

本文介绍一类新的带调整搜索方向的Broyden算法．我们着重讨论带调整搜索方向的DFP算法的收敛性，在某些非精确线搜索的情况下，我们证明对连续可微目标函数，这算法是整体收敛的，而对一致凸目标函数，收敛速度是一步超线收敛的．从这篇文章的证明过程中，可以得到对一致凸目标函数，DFP算法具有一步超线形收敛．     

大步长非单调线搜索规则的Lampariello修正对角稀疏拟牛顿算法的全局收敛性

本文在ZhangH．C．的非单调线搜索规则基础上，结合ShiZ．J．大步长线搜索技巧提出了新的大步长的非单调线搜索规则，设计了求解无约束最优化问题的大步长非单调线搜索规则的Lampariello修正对角稀疏拟牛顿算法，在△f（x）一致连续的条件下给出了算法的全局收敛性和超线性收敛性分析．数值例子表明算法是有效的，适合求解大规模问题．     

NGLM:一类全局收敛的Newton-GMRES方法

本文提出了一类具有全局收敛性质的Newton-GMRES方法—NGLM方法．该方法是对经典Newton—GMRES方法的推广．NGLM方法的全局策略是当在非精确Newton方向上后退不能成功时，转而在一个子空间上运用信赖域方法确定迭代步长．理论分析与数值实验均表明，NGLM方法改善了Newton—GMRES方法的强健性．     

由FR共轭梯度法控制的两类优化算法的全局收敛性

１引言 考虑无约束优化问题其中ｆ：Ｒｎ→Ｒ是一阶可微函数．求解（１）的非线性共轭梯度法具有如下形式：其中ｇｋ＝　ｆ（ｘｋ）,ａｋ是通过某种线搜索获得的步长,纯量βｋ的选取使得方法（２）—（３）在ｆ（ｘ）是严格凸二次函数且采用精确线搜索时化为线性共轭梯度法［１］．比较常见的βｋ的取法有Ｆｌｅｔｃｈｅｒ－Ｒｅｅｖｅｓ（ＦＲ）公式［２］和Ｐｏｌａｋ－Ｒｉｂｉｅｒｅ－Ｐｏｌｙａｋ（ＰＲＰ）公式［３－４］等．它们分别为其中　　　取欧几里得范数．对于一般非线性函数,ＦＲ方法具有较好的理论收敛性［５－６］,而…     

有界约束非线性系统的结合Lanczos分解技术不精确Newton法

提出了结合Lanczos分解技术不精确Newton法求解有界变量约束非线性系统．通过Lanczos分解技术解一个仿射二次模型获得迭代方向．利用内点回代线搜索技术,沿着这个方向得到一个可接受的步长．在合理的假设条件下,证明了算法的整体收敛性与局部超线性收敛速率．此外,数值结果表明了算法的有效性．     

一种新线搜索下的FR共轭梯度法

基于传统的Wolfe线搜索,提出了一种新的非精确线搜索．在无需限制参数σ≤1/2的情况下(即盯的取值范围扩展至0＜σ＜1),证明了FR算法的全局收敛性．数值实验表明了这种线搜索下的FR算法的有效性．     

解非线性方程组的一类离散的Newton算法

1．引言考虑非线性方程组设xi是当前的迭代点，为计算下一个迭代点，Newton法是求解方程若用差商代替导数，离散Newton法要解如下的方程其中这里为了计算J（；；h），需计算n‘个函数值．为了提高效能，Brown方法l‘］使用代入消元的办法来减少函数值计算量．它是再通过一次内选代从h得到下一个迭代点14＋1．设n；＝（《1，…，Zn尸，t二（ti，…，t＊”，t为变量．BfOWll方法的基本思想如下．对人（x）在X；处做线性近似解出然后代入第二个函数，得到这是关于tZ，…，tn的函数．当（tZ，…，t。尸一（ZZ，…，Z。厂时，由（1．4），…     

How bad are the BFGS and DFP methods when the objective function is quadratic?

We study the use of the BFGS and DFP algorithms with step-lengths of one for minimizing quadratic functions of only two variables. The updating formulae in this case imply nonlinear three term recurrence relations between the eigenvalues of consecutive second derivative approximations, which are analysed in order to explain some gross inefficiencies that can occur. Specifically, the BFGS algorithm may require more than 10 iterations to achieve the first decimal place of accuracy, while the performance of the DFP method is far worse. The results help to explain why the DFP method is often less suitable than the BFGS algorithm for general unconstrained optimization calculations, and they show that quadratic functions provide much information about efficiency when the current vector of variables is too far from the solution for an asymptotic convergence analysis.     

A derivative-free line search and dfp method for symmetric equations with global and superlinear convergence

This paper is concerned with the open problem as to whether DFP method with inexact line search converges globally to the minimum of a uniformly convex function. We study this problem by way of a Gauss-Newton approach rather than an ordinary Newton approach. We also propose a derivative-free line search that can be implemented conveniently by a backtracking process and has such an attractive property that any iterative method with this line search generates a sequence of iterates that is approximately norm descent. Moreover, if the Jacobian matrices are uniformly nonsingular, then the generated sequenceconverges. Under appropriate conditions, we establish global and superlinear convergence of the proposed Gauss-Newton based DFP method, which supports the open problem positively.     

四种无约束优化算法的比较研究

从数值试验的角度 ,通过对 3个测试问题 (其中构造了一个规模大小可变的算例 )的求解 ,对共轭梯度法、BFGS拟牛顿法、DFP拟牛顿法和截断牛顿法进行比较研究 ,根据测试结果的分析 ,显示截断牛顿法在求解大规模优化问题时具有优势 ,从而为大规模寻优算法的研究提供了有益的借鉴 .     

On the convergence property of the DFP algorithm

The DFP algorithm of unconstrained optimization possesses excellent properties of convergence for convex functions. However, a convergence theory of the DFP algorithm without the convexity assumption has not yet been established. This paper gives the following result: If the objective function is suitably smooth, and if the DFP algorithm produces a convergent point sequence, then the limit point of the sequence is a critical point of the objective function. Also, some open questions are mentioned.Supported by the National Science Foundation of China.     

差商变尺度法的整体收敛性

对于求解无约束最优化问题,变尺度法被公认为是最有效的方法之一,从1971年Powell的开创性工作以来,关于变尺度法收敛性的研究已形成了系统的理论,由于精确导数难以得到,常用差商代替,称为差商变尺度法,对其收敛性理论的研究,尚相当薄弱,本文证明了差商变尺度法的整体收敛性,同时给出了保证收敛的差商步长条件。     

Convergence Properties of the DFP Algorithm for Unconstrained Optimization

In this article, the convergence properties of the DFP algorithm with inexact line searches on uniformly convex functions are investigated. An inexact line search is proposed and the global convergence and superlinear convergence of the DFP algorithm with this line search on uniformly convex functions are proved.     

一族超线性收敛的投影拟牛顿算法

本文将梯度投影与拟牛顿法相结合，给出了求解一般线性约束非线性规划问题含两组参数的算法族．在一定的条件下证明了算法族的全局收敛性与它的子族的超线性收敛速度，并给出了投影Ｄ．Ｆ．Ｐ方法、投影ＢＦＧＳ方法等一些特例．     

A NOTE ON THE CONVERGENCE OF THE DFP ALGORITHM ON QUADRATIC UNIFORMLY CONVEX FUNCTIONS

Abstract

This paper analyzes the open question of the convergence of the DFP algorithm with inexact line searches. We prove that the DFP algorithm is convergent for quadratic uniformly convex function with commonly used inexact line searches.     

DFP变尺度法与FR共轭梯度法的二次等价性

研究了求解无约束极值问题的DFP变尺度法和FR共轭梯度法的关系问题.证明了在应用于求解二次函数的极值问题时,若将初始尺度矩阵取为单位矩阵,二者实际上是等价的,即两种方法求出的极小化点列是相同的.     

Convergence of the DFP Algorithm Without Exact Line Search

In this paper, we consider the DFP algorithm without exact line search. We strengthen the conditions on the line search and prove that, under the new line search conditions, the DFP algorithm is globally convergent, Q-superlinearly convergent, and n-step quadratically convergent.