无约束优化的超记忆梯度算法及其收敛特征

研究一种新的无约束优化超记忆梯度算法，算法在每步迭代中充分利用前面迭代点的信息产生下降方向，利用Wolfe线性搜索产生步长，在较弱的条件下证明了算法的全局收敛性。新算法在每步迭代中不需计算和存储矩阵，适于求解大规模优化问题。     

一个基于近似下降方向的免梯度算法

本构造一个求解非线性无约束优化问题的免梯度算法，该算法基于传统的模矢法，每次不成功迭代后，充分利用已有迭代点的信息，构造近似下降方向，产生新的迭代点。在较弱条件下，算法是总体收敛的。通过数值实验与传统模矢法相比，计算量明显减少。     

一类自适应广义交替方向乘子法

广义交替方向乘子法是求解凸优化问题的有效算法.当实际问题中子问题难以求解时,可以采用在子问题中添加邻近项的方法处理,邻近矩阵正定时,算法收敛,然而这也会使迭代步长较小.最新研究表明,邻近矩阵可以有一定的不正定性.本文在基于不定邻近项的广义交替方向乘子法框架下,提出一种自适应的广义交替方向乘子法,动态地选择邻近矩阵,增大迭代步长.在一些较弱的假设下,证明了算法的全局收敛性.我们进行一些初等数值实验,验证了算法的有效性.     

一类全局收敛的共轭投影梯度法及其超线性收敛性

一类全局收敛的共轭投影梯度法及其超线性收敛性时贞军（曲阜师范大学运筹学研究所）ＡＣＬＡＳＳＯＦＧＬＯＢＡＬＣＯＮＶＥＲＧＥＮＴＣＯＮＪＵＧＡＴＥＰＲＯＪＥＣＴＩＯＮＧＲＡＤＩＥＮＴＭＥＴＨＯＤＡＮＤＩＴＳＳＵＰＥＲＬＩＮＥＡＲＣＯＮＶＥＲＧＥＮＣＥＲ...     

一类超线性收敛的广义拟Newton算法

１引言考虑无约束最优化问题其中目标函数ｆ（ｘ）二阶连续可微,记ｆｋ＝ｆ（ｘ）,当充分小时,有如下近似关系：它们对二次函数皆严格成立．考虑选代其中Ｂ（Ｇ的近似）已知,为某种线搜索确定的步长．对Ｂ修正产生Ｂ,即Ｕ为待定ｎ阶矩阵．若要求Ｂ＋满足关系即Ｂ满足拟Ｎｅｗｔｏｎ方程,由它可导出许多著名的拟Ｎｅｗｔｏｎ算法［１－［４］）．若要求Ｂ满足关系则可导出伪Ｎｅｗｔｏｎ－δ族校正公式,它不再是Ｈｕａｎｇ族成员［６］．从信息资源的利用看,（１．６）仅利用了与信息,（１．７）仅利用了与信息．一般而言,较多的信…     

新的全局收敛的混合共轭梯度法

新的全局收敛的混合共轭梯度法王宇平（西安电子科技大学应用数学系，西安７１００７１）游兆永（西安交通大学应用数学研究中心，西安７１００４９）一、前言对于无约束最优化问题共轭梯度法是通过如下的迭代序列来逼近ｆ（ｘ）的极小点，其中Ｓｋ为第ｋ次迭代的搜索方向...     

一类全局收敛的记忆梯度法及其线性收敛性

本文研究一类新的解无约束最优化问题的记忆梯度法,在强Wolfe线性搜索下证明了其全局收敛性．当目标函数为一致凸函数时,对其线性收敛速率进行了分析．数值试验表明算法是很有效的．     

一个求解线性不等式约束的非线性规划的广义梯度投影内点 …

基于内点算法思想,利用广义投影技术设计了求解带线性不等式约束和非负约束的非线性规划的广义梯度投影内点算法,并了算法的收敛性质,数值例子表明算法是有效的。     

采用广义Curry线搜索的重新开始共轭梯度算法及其全局收敛性

本文对无约束最优化问题：ｍｉｎｆ（ｘ），ｘ∈Ｒ^ｎ，提出一种新的重新开始共轭梯度算法．该算法采用一类广义Ｃｕｒｒｙ线搜索原则，参数β_ｋ可在一个有限闭区间内选择，且允许β_ｋ取负值．在较弱的条件下证明了该算法的全局收敛性．     

一般约束极大极小优化问题一个强收敛的广义梯度投影算法

该文考虑求解带非线性不等式和等式约束的极大极小优化问题,借助半罚函数思想,提出了一个新的广义投影算法.该算法具有以下特点:由一个广义梯度投影显式公式产生的搜索方向是可行下降的;构造了一个新型的最优识别控制函数;在适当的假设条件下具有全局收敛性和强收敛性.最后,通过初步的数值试验验证了算法的有效性.     

无约束极大极小问题的广义梯度投影算法

本文讨论Rⁿ空间上的无约束极大极小问题. 通过Rⁿ⁺¹空间上的广义梯度投影技术产生Rⁿ上的下降搜索方向,进而结合Armijo非精确线搜索建立了原问题Rⁿ上的一个广义梯度投影型算法.算法在仿射线性无关条件下,具有全局收敛性和强收敛性. 文中对算法进行了初步的数值试验.     

一个求解非线性不等式约束优化问题的带有共轭梯度参数的广义梯度投影算法

本文提出一个求解非线性不等式约束优化问题的带有共轭梯度参数的广义梯度投影算法.算法中的共轭梯度参数是很容易得到的,且算法的初始点可以任意选取.而且,由于算法仅使用前一步搜索方向的信息,因而减少了计算量.在较弱条件下得到了算法的全局收敛性.数值结果表明算法是有效的.     

混合约束下广义几何规划的一种全局收敛算法

In this paper, we develop a rapidly convergent algorithm for mixed constrained signomial geometric programming. The algorithm makes use of the characteristics of signomial geometric programming, and establishes a new active-set strategy on the basis of trust region method. The global convergence is proved, and some numerical tests are given to illustrate the effectiveness.     

一类广义多项式互补问题的光滑化共轭梯度法

本文研究了一类广义多项式互补问题,在一定条件下,证明了其有唯一解.通过极大极小转化技术,将此类广义多项式互补问题转化为光滑化无约束优化问题进行求解,并提出了一种新的光滑化共轭梯度法.在一定假设条件下,证明了该方法的全局收敛性.最后相关的数值实验表明了算法可以有效求解广义多项式互补问题.     

结合广义Armijo步长搜索的一类新的三项共轭梯度算法及其收敛特征

In this paper, we consider the convergence properties of a new class of three terms conjugate gradient methods with generalized Armijo step size rule for minimizing a continuously differentiable function f on R^π without assuming that the sequence {xk} of iterates is bounded. We prove that the limit infimum of ‖↓△f(xk)‖ is Zero. Moreover, we prove that, when f(x) is pseudo-convex (quasi-convex) function, this new method has strong convergence results: either xk→x* and x* is a minimizer (stationary point); or ‖xk‖→∞, arg min{f(x) :x∈R^n} =φ, and.f(xk) ↓ inf(f(x) : x∈R^n}. Combining FR, PR, HS methods with our new method, FR, PR, HS methods are modified to have global convergence property.Numerical result show that the new algorithms are efficient by comparing with FR,PR, HS conjugate gradient methods with Armijo step size rule.     

一个求解线性不等式约束的非线性规划的广义梯度投影内点算法

基于内点算法思想,利用广义投影技术设计了求解带线性不等式约束和非负约束的非线性规划的广义梯度投影内点算法,并讨论了算法的收敛性质,数值例子表明算法是有效的.     

广义梯度计算公式的推广

本文用分析中的几何方法推广了D.E.Ward的广义梯度计算公式,给出一个基本计算定理.     

收敛共轭梯度方法参数βk的条件

本文给出确定共轭梯度方法中参数βk范围的两个条件-条件Ⅰ和条件Ⅱ,它们都确保方法的全局收敛．在条件Ⅰ和Gilbert＆Nocedal（1992）引入的性质（*）下及在条件Ⅱ和Wolfe条件下,分别建立了共轭梯度算法的收敛性定理．     

一类基于广义梯度的求解非线性互补问题的算法

1 引言非线性互补问题(下称NCP)的应用十分广泛,自本世纪六十年代以来,人们对这一问题解的存在唯一性、灵敏度分析、算法与应用等方面进行深入的研究,取得很大的进展。关于NCP的解法通常是将其化为序列线性互补问题,而对线性问题则有若干现成算法,如Lemke算法。但一般说来,此类方法工作量大,效果也难以令人满意。J.S.Pang于七十年代提出了B-可微算法,即将NCP转化为一个B-可微函数的零点问题。近年来提出的一些算法大多属于此类方法。 本文提出的算法也属于B-可微算法,虽同是从广义梯度出发,但不同的是,我们不是通过二次规划而是通过线性规划来获得搜寻方向。由于所涉及的线性规划问题特别的简单,我们可以很快而方便地求得其解,所以算法简易可行,速度较快。     

不等式约束优化一个基于滤子思想的广义梯度投影算法

讨论非线性不等式约束优化问题, 借鉴于滤子算法思想,提出了一个新型广义梯度投影算法.该方法既不使用罚函数又无真正意义下的滤子.每次迭代通过一个简单的显式广义投影法产生搜索方向,步长由目标函数值或者约束违反度函数值充分下降的Armijo型线搜索产生.算法的主要特点是: 不需要迭代序列的有界性假设;不需要传统滤子算法所必需的可行恢复阶段;使用了ε积极约束集减小计算量.在合适的假设条件下算法具有全局收敛性, 最后对算法进行了初步的数值实验.