正交约束优化问题的一阶算法

带有正交约束的矩阵优化问题在材料计算、统计及数据分析等领域中有着广泛的应用.由于正交约束的可行域是Stiefel流形,一直以来流形上的优化方法是求解这一问题的主要方法.近年来,随着实际应用问题所要求的变量规模的扩大,传统的流形优化方法在计算上的劣势显现出来,而一些迭代简单、收敛快的新算法逐渐被提出.通过收缩方法、非收缩可行方法、不可行方法三个类别分别来介绍求解带有正交约束的矩阵优化问题的最新算法.通过分析这些方法的主要特性,以及应用问题的要求,对这类问题算法设计的研究进行了展望.     

Beale-Powell重开始算法的收敛性

用例子说明求解大规模无约束优化问题的一种有效算法———Beale Powell重开始算法不一定收敛 ;但经过适当修正 ,可以获得它在一定条件下的收敛性.     

ψ函数的性质和它的应用

拟牛顿法是无约束优化问题中应用最广、理论上也最为成熟的方法之一.七十年代是其应用和理论发展最快的时期,在众多的算法之中,Broyden族又是最著名的,其收敛性质一直是无约束问题的热点.     

一维优化的一个二阶收敛算法

本文利用函数局部逼近导出一个不利用目标函数二阶导数的一维优化方法.我们证明了该方法的二阶收敛性.我们给出的数值结果表明该方法和牛顿法的计算表现十分相似.     

非线性规划——现状与进展

1.引言非线性规划问题是对一个定义在n维空间的单值函数求极值的问题,函数的自变量可能受限制于有限个不等式或等式的约束。通常有如下形式:其中都是定义在上的非线性函数。和是两个非负整数且满足当时,问题是一个无约束优化问题。否则,是一个约束优化问题。当时,问题称为等式约束问题。本文回顾近年来国外在非线性优化方面的一些主要工作。由于作者多年来不在国内,故未能在此介绍国内同行的优秀工作,十分遗憾。     

广义Wolfe线搜索下Fletcher—Reeves方法的收敛性

1 引言 在求解无约束优化问题 min f(x) (1.1) x∈R_n的非线性共轭梯度法中,最早的一种由Flethcher和Reeves[6]在1964年提出,它具有如下形式:     

三项共轭梯度法收敛性分析

1．引言考虑求解无约束光滑优化问题的线搜索方法其中al事先给定,山为搜索方向,Ik是步长因子．在经典的共轭梯度法中,对k三2,搜索方向dk由负梯度方向一gb和已有搜索方向小．1两个方向组成：其中山—－91,作为参数．关于参数作的计算公式很多,其中两个有名的计算公式称为＊R公式和＊＊P公式（见门和河1叩,它们分别为此处及以下11·11均指欧氏范数．在文献山中,Beale提出了搜索方向形如的三项重开始共轭梯度法,其中dt为重开始方向．Powellll］对这一方法引入了适当的重开始准则,获得了很好的数值结果．本文里,我们将研究搜索方向…     

ψ_α函数和Brogyden族

ψ_α函数和Ｂｒｏｇｙｄｅｎ族彭积明，袁亚湘（中国科学院计算中心）ψ_α－ＦＵＮＣＴＩＯＮＡＮＤＢＲＯＹＤＥＮ＇ＳＦＡＭＩＬＹ￥ＰｅｎｇＪｉ－ｍｉｎｇ；ＹｕａｎＹａ－ｘｉａｎｇ（ＣｏｍｐｕｔｉｎｇＣｅｎｔｅｒ，ＡｃａｄｅｍｉａＳｉｎｉｃａ）Ａｂｓｔｒａ...     

共轭下降法的全局收敛性

共轭下降法最早由Ｆｌｅｔｃｈｅｒ提出，本文证明了一类非精确线搜索条件能保证共轭下的降法的收敛性，并且构造了反例表明，如果线搜索条件放松，则共轭下降法可能不收敛，此外，我们还得到了与Ｆｌｅｃｈｅｒ－Ｒｅｅｖｅｓ方法有关的一类方法的结论。