非线性等式与有界约束优化问题的正割算法及其收敛性分析

提出了结合仿射尺度技术的正割算法解非线性等式与有界约束优化问题.在合理假设下,证明了渐弱滤子线搜索方法可以保证新算法具有整体收敛性.通过引入一个高阶修正方向,克服Maratos效应的影响,使得算法二步q-超线性收敛于最优点.进一步地,对算法进行修改,使得新算法达到q-超线性收敛性.     

二阶锥规划一个超线性收敛的非内部连续化算法

基于非光滑向量值最小函数的一个新光滑函数, 建立了二阶锥规划一个超线性收敛的非内部连续化算法. 该算法的特点如下: 首先, 初始点任意; 其次, 每次迭代只需求解一个线性方程组即可得到搜索方向; 最后, 在无严格互补假设下, 获得算法的全局收敛性、强收敛性和超线性收敛性. 数值结果表明算法是有效的.     

新的非单调线搜索规则BFGS算法的全局收敛性

本文在Zhang H.C.的非单调线搜索规则的基础上,设计了求解无约束最优化问题的新的非单调线搜索BFGS算法,在一定 的条件下证明了算法的线性收敛性和超线性收敛性分析.数值例子表明算法是有效的.     

一类变尺度算法的收敛性质

本文讨论一类变尺度算法的收敛性质,在一定条件下,证明了 Huang 算法类、吴方和桂湘云算法类及 Flachs 算法类的收敛性与超线性收敛性.特别,还证明了一类带有非精确线性搜索的算法之收敛性与超线性收敛性.     

一类带非单调搜索的SQP算法

本文给出了一个SQP新算法，其特点是使用了非单调搜索，并不再使用严格互补条件，使得算法在一定阶段后具有十分简洁的形式并保持整体收敛与超线性收敛性．     

一种基于新锥模型的自适应信赖域算法

本文提出一种自动确定信赖域半径的新锥模型信赖域算法.该算法在每步迭代中利用以前迭代点的二次信息和水平向量信息自动产生一个信赖域半径.且证明了全局收敛性及超线性收敛性,数值结果验证了新算法的有效性.     

不等式约束优化的非单调可行信赖域-SQP算法

本文讨论不等式约束优化问题,给出一个信赖域方法与SQP方法相结合的新的可行算法,算法中采用了压缩技术,使得QP子问题产生的搜索方向尽可能为可行方向,并且采用了高阶校正的方法来克服算法产生的Maratos效应现象.在适当的条件下,证明了算法的全局收敛性和超线性收敛性.数值结果表明算法是有效的.     

一种非单调滤子信赖域算法解线性不等式约束优化

本文给出了一种新的多维滤子算法结合非单调信赖域策略解线性约束优化.目标函数及其投影梯度的分量组成了新的多维滤子，并且与信赖域半径有关.当信赖域半径充分小时，新的滤子能接受试探点，避免算法无限循环.非单调信赖域策略保证了新算法的整体收敛性.目前为止，多维滤子算法局部收敛性分析仍然没有解决，在合理假设下，我们分析了新算法的局部超线性收敛性.数值结果验证了算法的有效性.     

带有非精确线性搜索之下降算法的收敛性质

本文讨论不做精确线性搜索的算法,给出算法是线性收敛的充要条件,证明了一类带有非精确线性搜索的变尺度算法之收敛性与超线性收敛性,同时表明DFP方法在理论上是好的.     

非线性均衡问题一个超线性收敛的光滑逼近SQP算法

研究非线性均衡问题,引入一个磨光算子将原问题转化为光滑问题,并用此光滑问题来逼近原来的问题而求解.在每步迭代中,通过转轴运算,求解一个线性约束二次规划问题和显式修正方向来得到主方向,并通过一个显式公式来得到高阶修正方向使得算法避免Maratos效应.在不需要上层互补条件下证明了算法具有全局收敛性和强收敛性且具有超线性收敛速度.     

An improved trust region algorithm for nonlinear equations

In this paper, we present a new trust region algorithm for the system of singular nonlinear equations with the regularized trust region subproblem. The new algorithm preserves the global convergence of the traditional trust region algorithm, and has the quadratic convergence under some suitable conditions. Finally, some numerical results are given.     

A gradient-related algorithm with inexact line searches

In this paper, a new gradient-related algorithm for solving large-scale unconstrained optimization problems is proposed. The new algorithm is a kind of line search method. The basic idea is to choose a combination of the current gradient and some previous search directions as a new search direction and to find a step-size by using various inexact line searches. Using more information at the current iterative step may improve the performance of the algorithm. This motivates us to find some new gradient algorithms which may be more effective than standard conjugate gradient methods. Uniformly gradient-related conception is useful and it can be used to analyze global convergence of the new algorithm. The global convergence and linear convergence rate of the new algorithm are investigated under diverse weak conditions. Numerical experiments show that the new algorithm seems to converge more stably and is superior to other similar methods in many situations.     

非线性不等式约束最优化一个超线性与二次收敛的强次可行方法

本文讨论非线性不等式约束最优化问题，借助于序列线性方程组技术和强次可行方法思想，建立了问题的一个初始点任意的快速收敛新算法．在每次迭代中，算法只需解一个结构简单的线性方程组．算法的初始迭代点不仅可以是任意的，而且不使用罚函数和罚参数，在迭代过程中，迭代点列的可行性单调不减．在相对弱的假设下，算法具有较好的收敛性和收敛速度，即具有整体与强收敛性，超线性与二次收敛性．文中最后给出一些数值试验结果．     

非线性约束条件下的SQP可行方法

本文对非线性规划问题给出了一个具有一步超线性收敛速度的可行方法。由于此算法每步迭代均在可行域内进行，并且每步迭代只需计算一个二次子规划和一个逆矩阵，因而算法具有较好的实用价值。本文还在较弱的条件下证明了算法的全局收敛和一步超线性收敛性。     

A combined direction stochastic approximation algorithm

The stochastic approximation problem is to find some root or minimum of a nonlinear function in the presence of noisy measurements. The classical algorithm for stochastic approximation problem is the Robbins-Monro (RM) algorithm, which uses the noisy negative gradient direction as the iterative direction. In order to accelerate the classical RM algorithm, this paper gives a new combined direction stochastic approximation algorithm which employs a weighted combination of the current noisy negative gradient and some former noisy negative gradient as iterative direction. Both the almost sure convergence and the asymptotic rate of convergence of the new algorithm are established. Numerical experiments show that the new algorithm outperforms the classical RM algorithm.     

半无限极小极大问题的信赖域算法

本文以处理半无限最优化问题的一般技巧,将一类针对有限极小极大问题的信赖域算法推广到半无限极小极大问题。并证明了新建算法的全局收敛性和超线性收敛性。     

基于修正拟牛顿方程的两阶段非单调稀疏对角变尺度梯度投影算法

基于修正拟牛顿方程,利用Goldstein-Levitin-Polyak(GLP)投影技术,建立了求解带凸集约束的优化问题的两阶段步长非单调变尺度梯度投影算法,证明了算法的全局收敛性和一定条件下的Q超线性收敛速率.数值结果表明新算法是有效的,适合求解大规模问题.     

A linearly convergent algorithm for sparse signal reconstruction

For the sparse signal reconstruction problem in compressive sensing, we propose a projection-type algorithm without any backtracking line search based on a new formulation of the problem. Under suitable conditions, global convergence and its linear convergence of the designed algorithm are established. The efficiency of the algorithm is illustrated through some numerical experiments on some sparse signal reconstruction problem.     

An accurate active set newton algorithm for large scale bound constrained optimization

A new algorithm for solving large scale bound constrained minimization problems is proposed. The algorithm is based on an accurate identification technique of the active set proposed by Facchinei, Fischer and Kanzow in 1998. A further division of the active set yields the global convergence of the new algorithm. In particular, the convergence rate is superlinear without requiring the strict complementarity assumption. Numerical tests demonstrate the efficiency and performance of the present strategy and its comparison with some existing active set strategies.