对等式约束非线性规划问题的Hestenes-Powell增广拉格朗日函数的进一步研究

本文对用无约束极小化方法求解等式约束非线性规划问题的Hestenes-Powell 增广拉格朗日函数作了进一步研究．在适当的条件下,我们建立了Hestenes-Powell增广拉格朗日函数在原问题变量空间上的无约束极小与原约束问题的解之间的关系,并且也给出了Hestenes-Powell增广拉格朗日函数在原问题变量和乘子变量的积空间上的无约束极小与原约束问题的解之间的一个关系．因此,从理论的观点来看,原约束问题的解和对应的拉格朗日乘子值不仅可以用众所周知的乘子法求得,而且可以通过对Hestenes-Powell 增广拉格朗日函数在原问题变量和乘子变量的积空间上执行一个单一的无约束极小化来获得．     

半无限规划的增广拉格朗日对偶理论

本文主要研究带有不等式约束的非凸半无限规划的对偶问题.众所周知,运用标准的拉格朗日函数构造对偶问题通常会存在对偶间隙,为了消除对偶间隙,我们构造一个增广拉格朗日函数,然后讨论对偶性.在合理的假设下,原问题与增广拉格朗日对偶问题之间的强对偶性成立.最后,通过一个算例对结果进行了验证.     

向量优化中广义增广拉格朗日对偶理论及应用

作者介绍了一种基于向量值延拓函数的广义增广拉格朗日函数,建立了基于广义增广拉格朗日函数的集值广义增广拉格朗日对偶映射和相应的对偶问题,得到了相应的强对偶和弱对偶结果,将所获结果应用到约束向量优化问题.该文的结果推广了一些已有的结论.     

一个使用增广拉格朗日函数的改进的SQP算法

通过引进一个辅助参数改变二次子规划的约束形式,使子问题总存在最优解.使用一个可微增广拉格朗日函数作为效益函数来确定步长,避免了Maratos效应.     

求解稀疏逻辑回归问题的嵌套BB算法的分裂增广拉格朗日算法

逻辑回归是经典的分类方法,广泛应用于数据挖掘、机器学习和计算机视觉.现研究带有程。模约束的逻辑回归问题.这类问题广泛用于分类问题中的特征提取,且一般是NP-难的.为了求解这类问题,提出了嵌套BB(Barzilai and Borwein)算法的分裂增广拉格朗日算法(SALM-BB).该算法在迭代中交替地求解一个无约束凸优化问题和一个带程。模约束的二次优化问题.然后借助BB算法求解无约束凸优化问题.通过简单的等价变形直接得到带程。模约束二次优化问题的精确解,并且给出了算法的收敛性定理.最后通过数值实验来测试SALM-BB算法对稀疏逻辑回归问题的计算精确性.数据来源包括真实的UCI数据和模拟数据.数值实验表明,相对于一阶算法SLEP,SALM-BB能够得到更低的平均逻辑损失和错分率.     

等式与界约束非线性优化的信赖域增广Lagrangian算法

１．引 言本文讨论如下非线性约束优化问题：其中； 是Ｒｎ→Ｒ的可微函数，　　　　　　．记 问题（１．１）是非线性约束优化问题中的一类重要类型，事实上任一个非线性等式与不等式约束优化均可引入松驰变量转化为（１．１）的形式．因此（１．１）的求解是人们讨论的热点问     

二次半定规划的增广拉格朗日算法

基于变换X=VV~T,本文将半定规划问题转换为非线性规划问题,提出了解决此问题的增广拉格朗日算法,并证明了算法的线性收敛性.在此算法中,每一次迭代计算的子问题利用最速下降搜索方向和满足wolf条件的线性搜索法求最优解.数值实验表明,此算法是行之有效的,且优于内点算法.     

张量鲁棒主成分分析的增广拉格朗日交替方向方法

张量的鲁棒主成分分析是将未知的一个低秩张量与一个稀疏张量从已知的它们的和中分离出来.因为在计算机视觉与模式识别中有着广阔的应用前景,该问题在近期成为学者们的研究热点.本文提出了一种针对张量鲁棒主成分分析的新的模型,并给出交替方向极小化的求解算法,在求解过程中给出了两种秩的调整策略.针对低秩分量本文对其全部各阶展开矩阵进行低秩矩阵分解,针对稀疏分量采用软阈值收缩的策略.无论目标低秩张量为精确低秩或近似低秩,本文所提方法均可适用.本文对算法给出了一定程度上的收敛性分析,即算法迭代过程中产生的任意收敛点均满足KKT条件.如果目标低秩张量为精确低秩,当迭代终止时可对输出结果进行基于高阶奇异值分解的修正.针对人工数据和真实视频数据的数值实验表明,与同类型算法相比,本文所提方法可以得到更好的结果.     

凸约束优化问题的带记忆模型信赖域算法

本文我们考虑求解凸约束优化问题的信赖域方法 .与传统的方法不同 ,我们信赖域子问题的逼近模型中包括过去迭代点的信息 ,该模型使我们可以从更全局的角度来求得信赖域试探步 ,从而避免了传统信赖域方法中试探步的求取完全依赖于当前点的信息而过于局部化的困难 .全局收敛性的获得是依靠非单调技术来保证的     

Toeplitz矩阵填充的 $\ell$-步修正增广拉格朗日乘子算法[英文]

基于 Toeplitz矩阵填充(TMC)的修正增广拉格朗日乘子(MALM)算法, 本文给出此算法的一种加速策略, 提出Toeplitz矩阵填充的 $\ell$-步修正增广拉格朗日乘子算法. 该方法通过削减原 MALM算法中每一步迭代的频繁数据传输, 提高算法的运行效率. 同时也证明了新算法的收敛性. 最后以数值实验表明 $\ell$-步修正增广拉格朗日乘子算法比原 MALM算法更有效.     

解凸约束非线性单调方程组的无导数谱PRP投影算法

本文在著名PRP共轭梯度算法的基础上研究了一种无导数谱PRP投影算法,并证明了算法在求解带有凸约束条件的非线性单调方程组问题的全局收敛性.由于无导数和储存量小的特性,它更适应于求解大规模非光滑的非线性单调方程组问题.数值试验表明,新算法对给定的测试问题是有效的和稳定的.     

A ROBUST SQP METHOD FOR OPTIMIZATION WITH INEQUALITY CONSTRAINTS

A new algorithm for inequality constrained optimization is presented, which solves a linear programming subproblem and a quadratic subproblem at each iteration. The algorithm can circumvent the difficulties associated with the possible inconsistency of QP subproblem of the original SQP method. Moreover, the algorithm can converge to a point which satisfies a certain first-order necessary condition even if the original problem is itself infeasible. Under certain condition, some global convergence results are proved and local superlinear convergence results are also obtained. Preliminary numerical results are reported.     

连续化方法求解约束凸规划问题

1．引言大型规划问题数值求解一直是计算数学工作者感兴趣的课题之一．针对大型约束规划问题,1991年李兴斯山提出凝聚函数法,该方法用光滑的凝聚函数逼近非光滑的极大值函数,从而把多个约束函数转化为带参数的单个光滑函数约束,从而降低了问题的规模．近年来,K3］研究了凸规划问题的凝聚函数法的收敛性,在目标函数强凸性及对一般凸规划研究了收敛性质．向讨论了可行解集有界的线性规划问题的凝聚函数求解算法并证明了收效性定理．上述文章均预先把凝聚参数取得充分小,然后对固定参数的单约束近似问题进行求解．一般地,凝聚参数取得…     

解线性约束凸规划的次最优化方法和改进

1.引 言 关于线性约束下的非线性规划,很多人进行了研究,Zangwill[3] 于1967年提出了次最优化方法,该方法的原理是将原规划问题化为一系列只含有等式约束的子问题求解,最后找到最优解所在的流形,在此流形上使用无约束规划的各种方法求解原问题即可.薛声家[2]1983     

复合凸优化问题的Gauss-Newton法的收敛性

本文研究解决复合凸优化问题:min F(x):=h(f(x)) （P）x∈X的Gauss-Newton法的收敛性.这里f是从Banach空间X到Banach空间Y的具有Frechet导数的非线性映照,h是定义在Y上的凸泛函. 复合凸优化问题近年来一直受到广泛的关注,目前它已成为非线性光滑理论中的一个主流方向.它在非线性包含,最大最小问题,罚函数技巧 [1-5]等许多重要的问题和技巧中得到了广泛的应用.同时它也提供了一个新的统一框架,使优化问题数值解的理论分析得到别开生面的发展.并且它也是研究有限区域内一阶或二阶最优性条件的一个便利工具[3,5,6,7].     

凸约束伪单调方程组的无导数投影算法

基于HS共轭梯度法的结构,本文在弱假设条件下建立了一种求解凸约束伪单调方程组问题的迭代投影算法.该算法不需要利用方程组的任何梯度或Jacobian矩阵信息,因此它适合求解大规模问题.算法在每一次迭代中都能产生充分下降方向,且不依赖于任何线搜索条件.特别是,我们在不需要假设方程组满足Lipschitz条件下建立了算法的全...     

一种修正的求总极值的积分—水平集方法的实现算法收敛性

1978年,郑权等提出了一个积分型求总极值的概念性算法及Monte-Carlo随机投点的实现算法,给出了概念性算法的总极值存在的充分必要条件,但是其实现算法收敛性仍未解决,1986年,张连生等给出离散均值－水平集的实现算法,并证明了它的收敛性。本文给出修正的积分－水平集方法,用一致分布搂九值积分逼近水平集构造实现算法,并证明了算法的收敛性。     

一类线性约束凸规划的内椭球算法

1引言自从1984年Karmarkar的著名算法——梯度投影算法发表以来,由其理论上的多项式收敛性及实际计算的有效性,使得内点算法成为近十几年来优化界研究的热点（［1］）．通过中外学者的深入研究,线性规划与凸二次规划的内点算法研究已取得了不少成果（［2」、［3〕）．这些算法大致可分为四种类型：梯度投影算法、仿射尺度算法、路径跟踪法和势函数减少法吸3］、〔9〕）．近来,人们开始着手将这些方法推广到非线性规划中的凸规划问题、线性互补问题和非线性互补问题（【6」、［7」、〔sj、［10」、Ill〕）．例如：文［8」对一类凸可分规…