带非精确线搜索的调整搜索方向DFP算法

本文介绍一类新的带调整搜索方向的Broyden算法．我们着重讨论带调整搜索方向的DFP算法的收敛性，在某些非精确线搜索的情况下，我们证明对连续可微目标函数，这算法是整体收敛的，而对一致凸目标函数，收敛速度是一步超线收敛的．从这篇文章的证明过程中，可以得到对一致凸目标函数，DFP算法具有一步超线形收敛．     

解凸约束非线性单调方程组的无导数低存储Broyden族投影法

拟牛顿法是求解非线性方程组的一类有效方法.相较于经典的牛顿法,拟牛顿法不需要计算Jacobian矩阵且仍具有超线性收敛性.本文基于BFGS和DFP的迭代公式,构造了新的充分下降方向.将该搜索方向和投影技术相结合,本文提出了无导数低存储的投影算法求解带凸约束的非线性单调方程组并证明了该算法是全局且R-线性收敛的.最后,将该算法用于求解压缩感知问题.实验结果表明,本文所提出的算法具有良好的计算效率和稳定性.     

带有非精确线性搜索之下降算法的收敛性质

本文讨论不做精确线性搜索的算法,给出算法是线性收敛的充要条件,证明了一类带有非精确线性搜索的变尺度算法之收敛性与超线性收敛性,同时表明DFP方法在理论上是好的.     

修改的DFP算法

众所周知,以DFP和BFGS为代表的变尺度算法是数学规划中最常用和最有效的方法之一.但是在不假定目标函数f(x)是凸的情况下,这类算法的整体收敛性还是一个没有完全解决的问题.本文提出一类修改的DFP算法,简称为MDFP算法.具体步骤如下:     

无约束优化问题的对角稀疏拟牛顿法

对无约束优化问题提出了对角稀疏拟牛顿法,该算法采用了Armijo非精确线性搜索,并在每次迭代中利用对角矩阵近似拟牛顿法中的校正矩阵,使计算搜索方向的存贮量和工作量明显减少,为大型无约束优化问题的求解提供了新的思路．在通常的假设条件下,证明了算法的全局收敛性,线性收敛速度并分析了超线性收敛特征。数值实验表明算法比共轭梯度法有效,适于求解大型无约束优化问题．     

由校正矩阵的等内积分解矩阵确定搜索方向的拟牛顿算法

把正定矩阵关于向量的等内积分解算法应用于求解无约束优化问题的拟牛顿算法中,提出了利用校正矩阵的等内积分解矩阵确定搜索方向的一种新算法和等价于DFP和BFGS校正公式的新的迭代公式.     

一类新的多步曲线搜索下的超记忆梯度法

研究一类新的求解无约束优化问题的超记忆梯度法,分析了算法的全局收敛性和线性收敛速率.算法利用一种多步曲线搜索准则产生新的迭代点,在每步迭代时同时确定下降方向和步长,并且不用计算和存储矩阵,适于求解大规模优化问题.数值试验表明算法是有效的.     

Broyden算法类中两个新的开关算法

<正> 本文从变分的角度,对求解无约束最优化问题 minf(x)x∈R~n给出了Broyden算法中两个新的开关算法。在Wolfe不精确线性搜索的准则下,证明了它们具有全局收敛性,并对超线性收敛进行探讨。计算实例表明,新算法是有效的。     

非线性约束条件下的SQP可行方法

本文对非线性规划问题给出了一个具有一步超线性收敛速度的可行方法。由于此算法每步迭代均在可行域内进行，并且每步迭代只需计算一个二次子规划和一个逆矩阵，因而算法具有较好的实用价值。本文还在较弱的条件下证明了算法的全局收敛和一步超线性收敛性。     

广义投影型的超线性收敛算法

该文利用矩阵分解与广义投影等技巧，给出了求解线性约束的非线性规划的一个广义投影型的超线性收敛算法，不需要δ－主动约束与每一步反复计算投影矩阵，避免了计算的数值不稳定性，利用矩阵求逆的递推公式，计算简便，由于采用了非精确搜索，算法实用可行，文中证明了算法具有收敛性及超线性的收敛速度．     

一个新的无约束优化超记忆梯度算法

本文提出一种新的无约束优化超记忆梯度算法,算法利用当前点的负梯度和前一点的负梯度的线性组合为搜索方向,以精确线性搜索和Armijo搜索确定步长．在很弱的条件下证明了算法具有全局收敛性和线性收敛速度．因算法中避免了存贮和计算与目标函数相关的矩阵,故适于求解大型无约束优化问题．数值实验表明算法比一般的共轭梯度算法有效．     

一个线性约束优化问题的广义梯度投影法

本文对线性约束优化问题提出了一个新的广义梯度投影法，该算法采用了非精确线性搜索，并在每次迭代运算中结合了广义投影矩阵和变尺度方法的思想确定其搜索方向．在通常的假设条件下，证明了该算法的整体收敛性和超线性收敛速度．     

解一类Hessian矩阵亏秩的修正BFGs算法及其局部Q-超线性收敛性

本文对凸函数在极值点的Hessian矩阵是秩亏一的情况下,给出了一类求解无约束优化问题的修正BFGS算法.算法的思想是对凸函数加上一个修正项,得到一个等价的模型,然后简化此模型得到一个修正的BFGS算法.文中证明了该算法是一个具有超线性收敛的算法,并且把修正的BFGS算法同Tensor方法进行了数值比较,证明了该算法对求解秩亏一的无约束优化问题更有效.     

一类新的曲线搜索下的多步下降算法

提出一类新的曲线搜索下的多步下降算法,在较弱条件下证明了算法具有全局收敛性和线性收敛速率.算法利用前面多步迭代点的信息和曲线搜索技巧产生新的迭代点,收敛稳定,不用计算和存储矩阵,适于求解大规模优化问题.数值试验表明算法是有效的.     

一个基于定步长技术的超记忆梯度法

基于定步长技术,本文给出一种求解无约束优化问题的超记忆梯度算法,从而避免每步都执行线搜索.在一定条件下证明该算法具有全局收敛性和局部线性收敛率.由于该方法不用计算和存储矩阵,故适合于求解大规模优化问题.数值试验表明该算法是有效的.     

退化约束的既约变尺度法

既约梯度法是求解线性等式与变量非负约束的非线性规划问题的有效方法,它的优点是降低问题的维数.变尺度方法是求解无约束优化问题的快速方法.文[1]将上述两种方法结合起来,给出了约束非退化并采用精确一维搜索的既约变尺度法,并证明了算法的收敛性与超线性收敛速度.但从计算的实现上来说,必须考虑使用非精确搜索的算法.为了使算法的适应范围更加广泛,也需要放弃约束非退化的假设.本文在满足上述两个要求下给出了退化约束条件下并采用非精确一维搜索的既约变尺度法,证明了算法的全局收敛性与超线性的收敛速度.     

MBFGS修正在SQP算法中的应用—算法及其局部收敛性

本研究了SQP算法中保持矩阵正定性的方法．利用Li—Fukmshima提出的求解无约束问题的修正BFGS(MBFGS)公式，提出了求解等式约束问题的SQP算法．证明了若在问题的解处二阶充分条件成立，则相应的SQP算法具有2一一步超线性收敛性．     

求解不等式约束优化问题无严格互补松弛条件的QP-Free新算法

本文针对不等式约束优化问题,结合Facchinei-Fischer-Kanzow精确有效集识别技术,给出—个新的线性方程组与辅助方向相结合的可行下降算法.算法每步迭代只需求解一个降维的线性方程组或计算一次辅助方向,且获取辅助方向的投影矩阵只涉及近似有效约束集中的元素,问题规模大为减少,且当迭代次数充分大时,只需求解一个降维的线性方程组.无需严格互补松弛条件,算法全局且一步超线性收敛.     

利用分解校正矩阵确定搜索方向的BFGS算法

本文把正定矩阵关于向量的等内积分解算法应用于改进BFGS算法中搜索方向的计算.通过建立不依赖于搜索方式的用分解矩阵表达的校正公式,给出了用Hesse近似矩阵的等内积分解矩阵确定搜索方向的BFGS算法.     

求解一般非线性互补问题的光滑化方法

在利用Fischer-Burmeister函数将非线性互补问题转化为非线性方程组的基础上,本文通过将信赖域方法与线性搜索方法结合起来,提出了求解一般非线性互补问题的光滑化方法.算法中我们给出了一个特定条件,条件满足时,采用信赖步,条件不满足时.采用梯度步.我们证明了算法具有全局收敛性.在解是R-正则的条件下,收敛速度是Q-超线性/Q-二阶收敛的.