自由边界问题的自适应Uzawa块松弛算法

利用增广Lagrange乘子法和自适应法则，得到求解单侧障碍自由边界问题的自适应Uzawa块松弛法.单侧障碍自由边界问题离散为有限维线性互补问题，等价于一个用辅助变量和增广Lagrange函数表示的鞍点问题.采用Uzawa块松弛算法求解该问题得到一个两步迭代法，主要的子问题为一个线性问题，同时能显式求解辅助变量.由于Uzawa块松弛算法的收敛速度显著依赖于罚参数，而且对具体问题很难选择合适的罚参数.为提高算法的性能，提出了自适应法则，该方法自动调整每次迭代所需的罚参数.数值结果验证了该算法的理论分析.     

具有滑动边界条件Stokes问题的自适应Uzawa块松弛算法

对一类具有非线性滑动边界条件的Stokes问题,得到了求其数值解的自适应Uzawa块松弛算法(SUBRM).通过该问题导出的变分问题,引入辅助变量将原问题转化为一个基于增广Lagrange函数表示的鞍点问题,并采用Uzawa块松弛算法(UBRM)求解.为了提高算法性能,提出利用迭代函数自动选取合适罚参数的自适应法则.该...     

一个修正的罚函数方法

本文通过给出的一个修正的罚函数,把约束非线性规划问题转化为无约束非线性规划问题.我们讨论了原问题与相应的罚问题局部最优解和全局最优解之间的关系,并给出了乘子参数和罚参数与迭代点之间的关系,最后给出了一个简单算法,数值试验表明算法是有效的.     

一类非凸优化问题广义交替方向法的收敛性

考虑利用广义交替方向法(GADMM)求解线性约束两个函数和的最小值问题,其中一个函数为凸函数,另一个函数可以表示为两个凸函数的差.对GADMM的每一个子问题,采用两个凸函数之差算法中的线性化技术来处理.通过假定相应函数满足Kurdyka-Lojasiewicz不等式,当增广Lagrange(拉格朗日)函数的罚参数充分大时,证明了GADMM所产生的迭代序列收敛到增广Lagrange函数的稳定点.最后,给出了该算法的收敛速度分析.     

一类自适应广义交替方向乘子法

广义交替方向乘子法是求解凸优化问题的有效算法.当实际问题中子问题难以求解时,可以采用在子问题中添加邻近项的方法处理,邻近矩阵正定时,算法收敛,然而这也会使迭代步长较小.最新研究表明,邻近矩阵可以有一定的不正定性.本文在基于不定邻近项的广义交替方向乘子法框架下,提出一种自适应的广义交替方向乘子法,动态地选择邻近矩阵,增大迭代步长.在一些较弱的假设下,证明了算法的全局收敛性.我们进行一些初等数值实验,验证了算法的有效性.     

两类逼近精确罚函数法及其数值试验

1 引言 精确罚函数(exact penalty function)的构造主要有两条途径:一是基于Lagrange乘子的乘子罚函数方法,二是直接构造非光滑的精确罚函数。不必进行乘子迭代。本文讨论第三种思路:基于目标函数最优值构造保持光滑性的精确罚函数。某些无参数外点罚函数本应属于此类,但一直仅仅被作为普通外点罚函数的无参数形式。将其与无参 数内点罚函数同等看待,因此基于目标函数最优值构造精确罚函数未得到充分研究。文献[11]给出了初步结果。本文进一步发展了有关理论,导出了两类算法,证明了收敛性,最后给出了数值试验结果。 2 基于目标函数最优值的精确罚函数 考虑如下约束优化问题     

无罚函数和滤子的QP-free非可行域方法

提出了求解光滑不等式约束最优化问题的无罚函数和无滤子QP-free非可行域方法. 通过乘子和非线性互补函数, 构造一个等价于原约束问题一阶KKT条件的非光滑方程组. 在此基础上, 通过牛顿-拟牛顿迭代得到满足KKT最优性条件的解, 在迭代中采用了无罚函数和无滤子线搜索方法, 并证明该算法是可实现,具有全局收敛性. 另外, 在较弱条件下可以证明该方法具有超线性收敛性.     

无限多类别网络均衡问题中的收费计算

对于一个多类别的网络均衡问题,可以通过计算某个辅助问题的容量限制约束相应的乘子向量得到有效收费.本文通过计算拉格朗日函数的鞍点来计算乘子向量.借助于广义拉格朗日函数的稳定性和Uzawa算法非精确解的收敛性,得到鞍点序列的收敛性.其中离散化方法用于最小化广义拉格朗日函数的计算.     

一种惯性邻近的Peaceman-Rachford分裂方法

严格压缩的Peaceman-Rachford(PR)分裂方法是一种收敛速度快于交替方向乘子法的求解线性约束可分离凸优化问题的有效方法.最近提出的半邻近PR分裂方法是严格压缩的PR分裂方法的一种改进方法.基于惯性邻近交替方向乘子法的思想,本文进一步改进了半邻近PR分裂方法,提出了一种惯性邻近PR分裂方法.该方法利用前两次产生的迭代点来产生新的迭代点,可以加速半邻近PR分裂方法的收敛.本文提出的方法具有一般性,它包含严格压缩的PR分裂方法和半邻近PR分裂方法作为特殊情形.在一定的假设下,本文证明了该算法产生的迭代序列的渐进可行性及函数值的收敛性,进而得到了迭代序列的全局收敛性.最后,本文通过数值试验说明了算法的有效性.     

约束优化无罚函数非单调SQP算法

本文研究求解非线性约束优化问题.利用非单调无罚函数方法,提出了一个新的序列二次规划算法.该算法在每次迭代过程中只需求解一个QP子问题和一个线性方程组.在一般条件下,算法具有全局收敛性,数值结果表明,计算量小于单调且含罚函数的传统算法.     

一种非单调序列线性方程组算法

本文提出了一个新的非单调序列线性方程组(SSLE)算法.在每次迭代过程中只需解三个具有相同系数矩阵的线性方程组,以替代解二次规划子问题,使得新算法的总计算量大大减少.该算法不需要罚函数也无需滤子,从而避免了由罚参数的选取所带来的困难.并且适用于解所有一般约束优化问题,无需初始点可行.该算法具有全局收敛性.数值结果表明该算法是有效的.     

具有线性化技术的三块非凸不可分优化问题BregmanADMM收敛性分析

交替方向乘子法是求解两块可分离凸优化问题的有效方法,但是对于三块不可分的非凸优化问题的交替方向乘子法的收敛性可能无法保证.该文主要研究的是用线性化广义Bregman交替方向乘子法(L-G-BADMM)求解目标函数是三块不可分的非凸极小化问题的收敛性分析.在适当假设条件下,对算法中子问题进行求解并构建满足Kurdyka-Lojasiewicz性质的效益函数,经过理论证明可以得到该算法的收敛性.     

关于鞍点问题的广义预处理HSS-SOR交替分裂迭代方法

本文研究了鞍点问题的迭代法. 在白中治,Golub和潘建瑜提出的预处理对称/反对称分裂（PHSS）迭代法的基础上,通过结合GSOR迭代格式,利用两个参数加速,提出了一种广义预处理HSS-SOR交替分裂迭代法,并研究了该方法的收敛性.数值结果表明本文所给方法是有效的.     

速度追踪问题中鞍点系统的新分裂迭代

 有限元离散一类速度追踪问题后得到具有鞍点结构的线性系统,针对该鞍点系统,本文提出了一种新的分裂迭代技术.证明了新的分裂迭代方法的无条件收敛性,详细分析了新的分裂预条件子对应的预处理矩阵的谱性质.数值结果验证了对于大范围的网格参数和正则参数,新的分裂预条件子在求解有限元离散速度追踪问题得到的鞍点系统时的可行性和有效性.     

速度追踪问题产生的鞍点系统的新的分裂迭代技术

有限元离散一类速度追踪问题后得到具有鞍点结构的线性系统,针对该鞍点系统,本文提出了一种新的分裂迭代技术.证明了新的分裂迭代方法的无条件收敛性,详细分析了新的分裂预条件子对应的预处理矩阵的谱性质.数值结果验证了对于大范围的网格参数和正则参数,新的分裂预条件子在求解有限元离散速度追踪问题得到的鞍点系统时的可行性和有效性.     

一类求解鞍点问题的修正SOR迭代方法

针对鞍点问题,该文详细讨论和分析了修正SOR弛迭代方法的收敛性.理论分析表明,当选择合适的参数时,修正SOR迭代方法迭代方法是收敛的.进一步,我们得到了修正SOR迭代方法收敛时参数需要满足的条件.最后,数值算例表明了该方法的正确性以及有效性.     

一类线性约束矩阵不等式及其最小二乘问题

本文主要考虑一类线性矩阵不等式及其最小二乘问题,它等价于相应的矩阵不等式最小非负偏差问题.之前相关文献提出了求解该类最小非负偏差问题的迭代方法,但该方法在每步迭代过程中需要精确求解一个约束最小二乘子问题,因此对规模较大的问题,整个迭代过程需要耗费巨大的计算量.为了提高计算效率,本文在现有算法的基础上,提出了一类修正迭代方法.该方法在每步迭代过程中利用有限步的矩阵型LSQR方法求解一个低维矩阵Krylov子空间上的约束最小二乘子问题,降低了整个迭代所需的计算量.进一步运用投影定理以及相关的矩阵分析方法证明了该修正算法的收敛性,最后通过数值例子验证了本文的理论结果以及算法的有效性.     

多块交替方向乘子法不收敛反例的几点注记

近年来,多块交替方向乘子法被广泛地应用在信号处理、图像处理、机器学习、工程计算等各个领域中,然而它的收敛性一直是一个悬而未决的公开问题;直至2016年,陈彩华等人给出了一个三维线性方程组构成的反例说明多块交替方向乘子法是可能发散的.结合陈等人的结果,现讨论了与此相关的三个问题:1)反例之所以发散是否由于初始点选择不够好?2)反例的发散是否因为它的可行域是单点集?3)是否能够在对偶变量更新中引入某一与问题无关的步长γ∈(0,1]使得小步长的交替方向乘子法变形收敛?从理论上对前两个问题给出了否定的回答,证明当初始点随机选取时,存在可行域不是单点集的例子,使得多块交替方向乘子法求解该问题时以概率1发散;从数值上否定了第三个问题,说明即使步长γ=10~(-8),多块交替方向乘子法也可能发散.     

基于对偶的不精确交替方向乘子法求解核范数正则化最小二乘问题

数据时代的所有事物都可以用数据描述记录.在数据分析中,对部分缺失数据补充,即矩阵补全问题.此类问题已有一定的研究,如通过求解核范数正则化最小二乘问题来达到所需效果.该文从对偶问题出发,使用交替方向乘子法(ADMM)来求解.在一定假设条件下,讨论了不精确对偶交替方向乘子法(dADMM)的全局收敛性.数值试验中,通过与原问题交替方向乘子法(pADMM)进行比较,验证了该算法的优越性.     

非凸非光滑不可分离优化的线性对称邻近ADMM收敛性分析

交替方向乘子法(ADMM)是一种求解可分离优化问题的简单有效的方法,相关研究已经较为完善.然而,当目标函数存在耦合项时,对ADMM算法收敛性的研究还处于初期.文章针对非凸非光滑不可分离优化问题,基于对称交替方向乘子法(SADMM),结合线性化技术,提出了一种新的线性对称邻近ADMM.在一定的假设条件下,证明了算法生成的序列有界并收敛至增广拉格朗日函数的稳定点.其次,当辅助函数满足Kurdyka-Lojasiewicz性质时,证明了算法的强收敛性.最后,数值实验的结果表明了算法的有效性.