一个结构简单的约束变尺度算法

本文我们考虑具有线性约束凹函数的最优化问题，利用我们的算法和变尺度修正公式，提出了一个结构简单的组合算法，并在「２」，「３」和「４」同样的假设条件下，证明了该算法的收敛性和超线性收敛速度，从而使该算法比原有各算法更具实用性。     

线性约束规划拓广的既约梯度法及其收敛性

本文首先给出由线性等式和不等式以及部分变量非负组成的约束集的一个新的转轴运算。它是以往转轴运算的推广。然后,以此为基础,建立该约束条件下的非线性规划的一个拓广的既约梯度法,它是既约梯度法的广泛推广和改进。算法不需增加任何松驰变量,以致提高问题的维数,扩大问题的规模;方法直接对原问题进行求解。本文算法对一般线性约束规划具有广泛的实用性,其处理技巧带有普遍意义。在非退化假设下,本文算法具有全局收敛性。     

线性约束优化问题的开关算法模型及其应用

本文利用开关函数．建立了解线性约束优化问题的一个组合型可行方向法─—开关算法模型，并给出了其收敛性质，从而统一、推广了包括起线性收敛的算法在内的常见的可行方向法．依此模型，具体构造了一类起线性收敛的新算法．     

退化约束的既约变尺度法

既约梯度法是求解线性等式与变量非负约束的非线性规划问题的有效方法,它的优点是降低问题的维数.变尺度方法是求解无约束优化问题的快速方法.文[1]将上述两种方法结合起来,给出了约束非退化并采用精确一维搜索的既约变尺度法,并证明了算法的收敛性与超线性收敛速度.但从计算的实现上来说,必须考虑使用非精确搜索的算法.为了使算法的适应范围更加广泛,也需要放弃约束非退化的假设.本文在满足上述两个要求下给出了退化约束条件下并采用非精确一维搜索的既约变尺度法,证明了算法的全局收敛性与超线性的收敛速度.     

两类变参数梯度法及收敛性

本文在ＬＭＩＮＮ方法的基础上,提出了两类变参数梯度法,然后证明了这两类方法在非精确线性搜索的Ｗｏｌｆｅ条件下是下降算法且具有全局收敛性。     

差商变尺度法的超线性收敛性

在文[1]的基础上,本文继续研究差商变尺度法的收敛性质,从文[1]的整体收敛性出发,进一步探讨了差商变尺度法的超线性收敛的特征,同时给出了保证超线性收敛的差商步长条件。     

线性约束下的共轭投影梯度法及其超线性收敛性

本文考虑线性约束非线性规划问题，提出了一类共轭投影梯度法，证明了算法的全局收敛性，并对算法的二次终止性，超线性收敛特征进行了分析，算法的优点是（１）采用计算机上实现的Ａｒｍｉｊｏ线性搜索规则，（２）初始点不要求一定是可行点，可以不满足线性等式约束，（３）具有较快的收敛速度。     

一般线性或非线性约束下的共轭投影变尺度方法

梯度投影法是一类有效的约束最优化算法，在最优化领域中占有重要的地位．但是，梯度投影法所采用的投影是正交投影，不包含目标函数和约束函数的二阶导数信息·因而；收敛速度不太令人满意．本文介绍一种共轭投影概念，利用共轭投影构造了一般线性或非线性约束下的共轭投影变尺度算法，并证明了算法在一定条件下具有全局收敛性．由于算法中的共轭投影恰当地包含了目标函数和约束函数的二阶导数信息，因而收敛速度有希望加快．数值试验的结果表明算法是有效的．     

关于不等式约束的信赖域算法

对于具有不等式约束的非线性优化问题，本文给出一个依赖域算法，由于算法中依赖区域约束采用向量的∞范数约束的形式，从而使子问题变二次规划，同时使算法变得更实用。在通常假设条件下，证明了算法的整体收敛性和超线性收敛性。     

用L_1-罚函数作线性搜索函数的一种修正约束变尺度算法

本文对用Ｌ１－罚函数作线性搜索的约束变尺度算法，提出了一种新的修正方法，该方法的计算量小，可行性较好，并且仍能保持原有算法的收敛性．     

不等式约束优化一个改进的投影变尺度算法

本文研究了不等式约束优化问题.利用共轭投影梯度方法,获得了一个投影变尺度型算法.在适当的条件下,证明算法是全局收敛且具有超线性收敛性.     

基于修正拟牛顿方程的两阶段非单调稀疏对角变尺度梯度投影算法

基于修正拟牛顿方程,利用Goldstein-Levitin-Polyak(GLP)投影技术,建立了求解带凸集约束的优化问题的两阶段步长非单调变尺度梯度投影算法,证明了算法的全局收敛性和一定条件下的Q超线性收敛速率.数值结果表明新算法是有效的,适合求解大规模问题.     

Über die globale Konvergenz von Variable-Metrik-Verfahren mit nicht-exakter Schrittweitenbestimmung

Summary We consider unconstrained minimization problems and the application of the Broyden-Fletcher-Goldfarb-Shanno variable metric algorithm without exact line searches. For a certain class of step functions the global convergence of this method is proven, generalizing a result given by Powell. Furthermore some remarks are made concerning the superlinear convergence of this particular variable metric algorithm.

     

Sequential convergence of AdaGrad algorithm for smooth convex optimization

We prove that the iterates produced by, either the scalar step size variant, or the coordinatewise variant of AdaGrad algorithm, are convergent sequences when applied to convex objective functions with Lipschitz gradient. The key insight is to remark that such AdaGrad sequences satisfy a variable metric quasi-Fejér monotonicity property, which allows to prove convergence.     

不等式约束优化一个具有超线性收敛的可行序列二次规划算法

建立了一个新的SQP算法,提出了一阶可行条件这一新概念．对已有SQP型算法进行改进,减少计算工作量,证明了算法具有全局收敛及超线性收敛性．数值实验表明算法是有效的．     

线性约束下的共轭投影变尺度法及其超线性收敛性

§1.引言 对于线性约束非线性规划问题,自从Zoutendijk于1960年提出容许方向法以来,相继出现了很多可行方向法,特别是Rosen和Goldfarb的梯度投影法引人注目。很多作者对他们的方法进行了各种形式的改进,把线性约束的情形推广到非线性约束的情形,从凸规划的可行方向法发展到非凸规划的可行方向法,通过引进ε-有效约束集的概念,从     

On the superlinear convergence of the variable metric proximal point algorithm using Broyden and BFGS matrix secant updating

In previous work, the authors provided a foundation for the theory of variable metric proximal point algorithms in Hilbert space. In that work conditions are developed for global, linear, and super–linear convergence. This paper focuses attention on two matrix secant updating strategies for the finite dimensional case. These are the Broyden and BFGS updates. The BFGS update is considered for application in the symmetric case, e.g., convex programming applications, while the Broyden update can be applied to general monotone operators. Subject to the linear convergence of the iterates and a quadratic growth condition on the inverse of the operator at the solution, super–linear convergence of the iterates is established for both updates. These results are applied to show that the Chen–Fukushima variable metric proximal point algorithm is super–linearly convergent when implemented with the BFGS update. Received: September 12, 1996 / Accepted: January 7, 2000?Published online March 15, 2000