基于简单二次函数模型的非单调信赖域算法

基于简单二次函数模型,结合非单调技术,建立了一个新的求解无约束最优化问题的非单调信赖域算法,并证明了算法的全局收敛性及超线性收敛性.数值例子表明算法是有效性的,适合求解大规模问题.     

非单调广义对角拟牛顿算法

本文研究了无约束最优化的求解问题.利用新的对角拟牛顿校正和非单调技术,获得了一种非单调广义对角拟牛顿算法.新算法具有低存储、低计算量的特点,非常适合大规模问题的求解,推广了文献[8]的结果.     

新非单调线搜索规则的Lampariello修正对角稀疏拟牛顿算法

本文设计了求解无约束最优化问题的新的非单调线搜索规则的Lampariello修正对角稀疏拟牛顿算法.新的步长规则类似于Grippo非单调线搜索规则并包含Grippo非单调线搜索规则作为特例.新的步长规则在每一次线搜索时得到一个相对于Grippo非单调线搜索规则的较大步长,同时保证算法的全局收敛性.数值例子表明算法是有效的,适合求解大规模问题.     

求解伪单调平衡问题的强收敛算法

本文研究求解实希尔伯特空间中平衡问题的算法.结合惯性方法和非单调步长,一种求解平衡问题的算法被提出,所提算法无需知道双边函数的利普希茨常数.在双边函数伪单调和满足利普希茨条件下,算法的强收敛性被证明.数值实验表明了算法的优势.     

一个求解二阶锥互补问题的非单调光滑算法北大核心

光滑算法是求解二阶锥互补问题非常有效的方法,而这类算法通常采用单调线性搜索.给出了一个求解二阶锥互补问题的非单调光滑算法,在不需要满足严格互补条件下证明了算法是全局和局部二阶收敛的.数值试验表明算法是有效的.     

一个求解二阶锥互补问题的非单调光滑算法

光滑算法是求解二阶锥互补问题非常有效的方法,而这类算法通常采用单调线性搜索.给出了一个求解二阶锥互补问题的非单调光滑算法,在不需要满足严格互补条件下证明了算法是全局和局部二阶收敛的.数值试验表明算法是有效的.     

求解单调包含问题的惯性混合非精确邻近点算法

本文提出了求解单调包含问题的一类新的惯性混合非精确邻近点算法(简记为iHIPPA)在适当的参数假设下,我们证明了求解单调包含问题的iHIPPA所产生点列的弱收敛性,获得了iHIPPA的非渐近收敛率为■及iHIPPA的遍历迭代复杂性为O(1/k).作为应用,我们还建立了求解单调变分包含问题的惯性邻近收缩算法,求解广义变分不等式问题的惯性投影邻近点算法,及求解原始一对偶问题的惯性非精确调比部分逆算法产生点列的收敛性及相应算法的非渐近收敛率及遍历迭代复杂性.本文结果推广和改进了文献中的相应结论.最后,本文应用新的惯性交替方向乘子法用以求解LASSO问题,而且一些初步的试验结果表明了新的算法的优越性.     

求解非线性互补问题的一类光滑Broyden-like方法

非线性互补问题可以等价地转换为光滑方程组来求解. 基于一种新的非单调线搜索准则, 提出了求解非线性互补问题等价光滑方程组的一类新的非单调光滑 Broyden-like 算法.在适当的假设条件下, 证明了该算法的全局收敛性与局部超线性收敛性. 数值实验表明所提出的算法是有效的.     

约束优化无罚函数非单调SQP算法

本文研究求解非线性约束优化问题.利用非单调无罚函数方法,提出了一个新的序列二次规划算法.该算法在每次迭代过程中只需求解一个QP子问题和一个线性方程组.在一般条件下,算法具有全局收敛性,数值结果表明,计算量小于单调且含罚函数的传统算法.     

一类带非单调线搜索的信赖域算法

通过将非单调Wolfe线搜索技术与传统的信赖域算法相结合,我们提出了一类新的求解无约束最优化问题的信赖域算法.新算法在每一迭代步只需求解一次信赖域子问题,而且在每一迭代步Hesse阵的近似都满足拟牛顿条件并保持正定传递.在一定条件下,证明了算法的全局收敛性和强收敛性.数值试验表明新算法继承了非单调技术的优点,对于求解某...     

非单调多步曲线搜索方法的收敛性

提出一种求解无约束优化问题的非单调多步曲线搜索方法.此方法具有如下特点:(1)算法在产生下一个迭代点时不仅利用了当前迭代点的信息,而且还可能利用前m个迭代点的信息.这就是多步法;(2)下降方向和步长同时确定,而不是先找到方向,再由线性搜索寻找步长.这就是曲线搜索技术;(3)采用非单调搜索技巧.在较弱的条件下,我们证明了此方法的收敛性.     

基于修正拟牛顿方程的两阶段步长非单调稀疏对角变尺度梯度投影算法

基于修正拟牛顿方程, 利用Goldstein-Levitin-Polyak (GLP)投影技术, 建立了 求解带凸集约束的优化问题的两阶段步长Zhang H.C.非单调变尺度梯度投影方法, 证明了算法的全局收敛性. 数值实验表明算法是有效的, 适合求解大规模问题.     

Global convergence of conjugate gradient method

In this article, we consider the global convergence of the Polak–Ribiére–Polyak conjugate gradient method (abbreviated PRP method) for minimizing functions that have Lipschitz continuous partial derivatives. A novel form of non-monotone line search is proposed to guarantee the global convergence of the PRP method. It is also shown that the PRP method has linear convergence rate under some mild conditions when the non-monotone line search reduces to a related monotone line search. The new non-monotone line search needs to estimate the Lipschitz constant of the gradients of objective functions, for which two practical estimations are proposed to help us to find a suitable initial step size for the PRP method. Numerical results show that the new line search approach is efficient in practical computation.     

三项记忆梯度法及其投影算法的收敛性分析

对于无约束优化问题,提出了一类新的三项记忆梯度算法．这类算法是在参数满足某些假设的条件下,确定它的取值范围,从而保证三项记忆梯度方向是使目标函数充分下降的方向．在非单调步长搜索下讨论了算法的全局收敛性．为了得到具有更好收敛性质的算法,结合Solodov and Svaiter(2000)中的部分技巧,提出了一种新的记忆梯度投影算法,并证明了该算法在函数伪凸的情况下具有整体收敛性．     

A new non-monotone self-adaptive trust region method for unconstrained optimization

In this paper, based on a simple model of trust region sub-problem, we combine the trust region method with the non-monotone and self-adaptive techniques to propose a new non-monotone self-adaptive trust region algorithm for unconstrained optimization. By use of the simple model, the new method needs less memory capacitance, computational complexity and CPU time. The convergence results of the method are proved under certain conditions. Numerical results show that the new method is effective and attractive for large-scale optimization problems.     

R-linear convergence of the Barzilai and Borwein gradient method

Combined with non-monotone line search, the Barzilai and Borwein(BB) gradient method has been successfully extended for solvingunconstrained optimization problems and is competitive withconjugate gradient methods. In this paper, we establish theR-linear convergence of the BB method for any-dimensional stronglyconvex quadratics. One corollary of this result is that theBB method is also locally R-linear convergent for general objectivefunctions, and hence the stepsize in the BB method will alwaysbe accepted by the non-monotone line search when the iterateis close to the solution.     

低秩稀疏矩阵恢复的快速非单调交替极小化方法

针对低秩稀疏矩阵恢复问题的一个非凸优化模型,本文提出了一种快速非单调交替极小化方法.主要思想是对低秩矩阵部分采用交替极小化方法,对稀疏矩阵部分采用非单调线搜索技术来分别进行迭代更新.非单调线搜索技术是将单步下降放宽为多步下降,从而提高了计算效率.文中还给出了新算法的收敛性分析.最后,通过数值实验的比较表明,矩阵恢复的非单调交替极小化方法比原单调类方法更有效.     

有界约束半光滑方程组的非单调投影信赖域方法

投影信赖域策略结合非单调线搜索算法解有界约束非线性半光滑方程组.基于简单有界约束的非线性优化问题构建信赖域子问题,半光滑类牛顿步在可行域投影得到投影牛顿的试探步,获得新的搜索方向,结合非单调线搜索技术得到回代步,获得新的步长.在合理的条件下,证明算法不仅具有整体收敛性且保持超线性收敛速率.引入非单调技术能克服高度非线性的病态问题,加速收敛性进程,得到超线性收敛速率.     

伪Newton—B族的导出及其性质

本文对无约束优化问题提出了一类新的近似牛顿法（伪牛顿-B族）,此方法同样具有二次终止性,产生的矩阵序列保持正定对称传递性。并证明了算法的全局收敛性和超级性收敛性。