基于共轭梯度的锥模型信赖域算法

1引 言 本文考虑求解无约束优化问题 minf(x),x∈Rn, (1.1) 其中f(x)在Rn上连续二阶可导.大部分求解无约束优化问题的算法都是基于迭代的思想形成一个近似函数,然后极小化该函数.近似函数通常都采用二次函数,本文研究采用锥函数作为近似函数的锥模型算法.锥模型方法是Davidon于1980年在文献[2]中首次提出来的,随后Sorensen[16],Ariyawansa[1]等对锥模型进行了线搜索策略的研究.Di和Sun[5][18],诸梅芳[20],Xu[19]等对锥模型信赖域方法进行了研究.     

无约束最优化锥模型拟牛顿信赖域方法的收敛性(英)

本文研究无约束最优化雄模型拟牛顿信赖域方法的全局收敛性．文章给出了确保这类方法全局收敛的条件．文章还证明了，当用拆线法来求这类算法中锥模型信赖域子问题的近似解时，确保全局收敛的条件得到满足     

解线性约束优化问题的新锥模型信赖域3法

本文提出了一个解线性等式约束优化问题的新锥模型信赖域方法．论文采用零空间技术消除了新锥模型子问题中的线性等式约束，用折线法求解转换后的子问题，并给出了解线性等式约束优化问题的信赖域方法．论文提出并证明了该方法的全局收敛性，并给出了该方法解线性等式约束优化问题的数值实验．理论和数值实验结果表明新锥模型信赖域方法是有效的，这给出了用新锥模型进一步研究非线性优化的基础．     

解新锥模型信赖域子问题的折线法

本文以新锥模型信赖域子问题的最优性条件为理论基础,认真讨论了新子问题的锥函数性质,分析了此函数在梯度方向及与牛顿方向连线上的单调性.在此基础上本文提出了一个求解新锥模型信赖域子问题折线法,并证明了这一子算法保证解无约束优化问题信赖域法全局收敛性要满足的下降条件.本文获得的数值实验表明该算法是有效的.     

一类锥模型非单调信赖域算法及收敛性分析

本文对无约束优化问题提出了一类基于锥模型的非单调信赖域算法.二次模型非单调信赖域算法是新算法的特例.在适当的条件下,证明了算法的全局收敛性及Q-二次收敛性.     

一种基于新锥模型的自适应信赖域算法

本文提出一种自动确定信赖域半径的新锥模型信赖域算法.该算法在每步迭代中利用以前迭代点的二次信息和水平向量信息自动产生一个信赖域半径.且证明了全局收敛性及超线性收敛性,数值结果验证了新算法的有效性.     

等式约束最小化的信整域乘子算法

本文通过使用信赖域乘子策略和引入不可微的势函数，讨论了[1]中被合理修正的双边投影拟牛顿方法，分析和叙述了算式约束最小化的信赖域乘子算法，并且证明了算法整体收敛性以及局部超越性收敛速率。     

无约束非光滑优化问题信赖域算法的收敛条件

1 引言 考虑下列无约束非光滑优化问题 minf(x),(1) x∈R~n,其中f为R~n上的局部Lipschitz函数,本文将‖·‖_2简记为‖·‖.记下列信赖域子问题为S∪B(x,△). min m(x,s)=φ(x,s)+1/2s~TBs, 其中φ:R~(2m)→R为f的迭代函数。 对于无约束非光滑优化问题(1),[11],[13],[3]、[4]和[5]分别在特殊的条件下给出了信赖域算法用以求解(1)的收敛性结果。最近,[10]、[2]和[6]在不同的假设条件下分别给出了信赖域算法求解无约束非光滑优化问题的一般模型,并在子问题的目标函数满足局部一致有界性条件时证明了算法模型的整体收敛性。在目标函数满足某种正则性条件时,[11]和[9]给出了当信赖域子问题的目标函数中二次项不满足一致有界性条件时的收敛性结果.本文则在目标函数仅为局部Lipschitz函数时得到了和[8]、[11]、[9]相同的收敛性结果。     

一个锥模型的自适应信赖域算法及其收敛性

本文研究了无约束最优化问题的基于锥模型的自适应信赖域算法.利用理论分析得到一个新的自适应信赖域半径.算法在每步迭代中以变化的速率、当前迭代点的信息以及水平向量信息调节信赖域半径的大小.从理论上证明了新算法的全局收敛性和Q-二阶收敛性.用数值试验验证了新算法的有效性.推广了已有的自适应信赖域算法的可行性和有效性.     

一个新的BFGS信赖域算法

本文对于无约束最优化问题提出了一个新的BFGS信赖域算法.利用BFGS方法和信赖域方法,提出了改进的BFGS信赖域方法.推广了文献[3,5]中的两种算法,得到一个新的BFGS信赖域算法,在适当条件下证明了算法的全局收敛性.     

Concise complexity analyses for trust region methods

Concise complexity analyses are presented for simple trust region algorithms for solving unconstrained optimization problems. In contrast to a traditional trust region algorithm, the algorithms considered in this paper require certain control over the choice of trust region radius after any successful iteration. The analyses highlight the essential algorithm components required to obtain certain complexity bounds. In addition, a new update strategy for the trust region radius is proposed that offers a second-order complexity bound.     

无正则性条件下的一个信赖域方法的全局收敛性

1.引 言考虑下列等式约束最优化问题:min f(x)x∈Rn (1.1)s.t.C(x)=0其中f:Rn→R,C（x）=（c1（x）,C2（x）,…,Cm（x））T,Ci:Rn→R,（i=1,…,m）.我们假设f（x）,Ci（x）（i=1,2,…,m）是连续可微函数.令g（x）=　f（x）,A（x）=　C（x）T.为了方便,我们通常用 Ck,fk,gk,Ak分别表示 C（xk）,f（xk）,g（xk）A（xk）. SQP方法是一迭代方法.在 xk点,通过解下列子问题来得到搜索方向 dk     

关于不等式约束的信赖域算法

对于具有不等式约束的非线性优化问题，本文给出一个依赖域算法，由于算法中依赖区域约束采用向量的∞范数约束的形式，从而使子问题变二次规划，同时使算法变得更实用。在通常假设条件下，证明了算法的整体收敛性和超线性收敛性。     

Conditions for convergence of trust region algorithms for nonsmooth optimization

This paper discusses some properties of trust region algorithms for nonsmooth optimization. The problem is expressed as the minimization of a functionh(f(x), whereh(·) is convex andf is a continuously differentiable mapping from ℝ″ to ℝ‴. Bounds for the second order derivative approximation matrices are discussed. It is shown that Powel’s [7, 8] results hold for nonsmooth optimization.     

A nonmonotone trust region method based on nonincreasing technique of weighted average of the successive function values

In this paper we propose a nonmonotone trust region method. Unlike traditional nonmonotone trust region method, the nonmonotone technique applied to our method is based on the nonmonotone line search technique proposed by Zhang and Hager [A nonmonotone line search technique and its application to unconstrained optimization, SIAM J. Optim. 14(4) (2004) 1043–1056] instead of that presented by Grippo et al. [A nonmonotone line search technique for Newton's method, SIAM J. Numer. Anal. 23(4) (1986) 707–716]. So the method requires nonincreasing of a special weighted average of the successive function values. Global and superlinear convergence of the method are proved under suitable conditions. Preliminary numerical results show that the method is efficient for unconstrained optimization problems.     

一个等式约束问题的拟Newton—信赖域型方法及其收敛性

在[1]中,Vardi提出一个信赖域方法,而收敛性证明却是在精确λ-搜索下给出的,本文在[1]的基础上提出一个新的算法-拟Newton-信赖域型算法,并证明该算法是全局收敛的,通过利用二阶修正技术去修正该算法,我们证明了该算法是局部超线性收敛的。     

On the superlinear convergence of a trust region algorithm for nonsmooth optimization

It is proved that the second order correction trust region algorithm of Fletcher [5] ensures superlinear convergence if some mild conditions are satisfied.     

A Line Search and Trust Region Algorithm with Trust Region Radius Converging to Zero

In this paper, we present a new line search and trust region algorithm for unconstrained optimization problem with the trust region radius converging to zero. The new trust region algorithm performs a backtracking line search from the failed, point instead of resolving the subproblem when the trial step results in an increase in the objective function. We show that the algorithm preserves the convergence properties of the traditional trust region algorithms. Numerical results are also given.