非凸多分块优化的Bregman ADMM的收敛率研究

Wang等提出了求解带线性约束的多块可分非凸优化问题的带Bregman距离的交替方向乘子法(Bregman ADMM),并证明了其收敛性.该文将进一步研究求解带线性约束的多块可分非凸优化问题的Bregman ADMM的收敛率,以及算法产生的迭代点列有界的充分条件.在效益函数的Kurdyka-Lojasiewicz (KL)性质下,该文建立了值和迭代的收敛速率,证明了与目标函数相关的各种KL指数值可获得Bregman ADMM的三种不同收敛速度.更确切地说,该文证明了如下结果:如果效益函数的KL指数θ=0,那么由Bregman ADMM生成的序列经过有限次迭代后收敛;如果θ∈(0,1/2],那么Bregman ADMM是线性收敛的;如果θ∈(1/2,1),那么Bregman ADMM是次线性收敛的.     

A-线性Bregman 迭代算法

线性Bregman迭代是Osher和Cai等人最近提出的一种在压缩感知等领域有重要作用的有效算法.本文在矩阵A非满秩情形下,研究了求解下面最优化问题的线性Bregman迭代:min u∈R~M{‖u‖_1:Au+g}给出了一个关于线性Bregman迭代收敛性定理的简化证明,设计了一类A~-线性Bregman迭代算法,并针对A~+情形证明了算法的收敛性.最后,用数值仿真实验验证了本文算法的可行性.     

一种惯性邻近的Peaceman-Rachford分裂方法

严格压缩的Peaceman-Rachford(PR)分裂方法是一种收敛速度快于交替方向乘子法的求解线性约束可分离凸优化问题的有效方法.最近提出的半邻近PR分裂方法是严格压缩的PR分裂方法的一种改进方法.基于惯性邻近交替方向乘子法的思想,本文进一步改进了半邻近PR分裂方法,提出了一种惯性邻近PR分裂方法.该方法利用前两次产生的迭代点来产生新的迭代点,可以加速半邻近PR分裂方法的收敛.本文提出的方法具有一般性,它包含严格压缩的PR分裂方法和半邻近PR分裂方法作为特殊情形.在一定的假设下,本文证明了该算法产生的迭代序列的渐进可行性及函数值的收敛性,进而得到了迭代序列的全局收敛性.最后,本文通过数值试验说明了算法的有效性.     

一种带有不定性邻近项的广义Peaceman-Rachford分裂法

针对带有线性约束的可分离凸优化问题,提出一种带有不定邻近项的广义Peaceman-Rachford (PR)分裂法.在较弱假设条件下,证明该算法迭代序列的全局收敛性和建立起在遍历情况下的最坏O(1/t)收敛速率.最后,通过数值实验验证了所提算法的有效性.     

等式约束非凸优化问题的修正牛顿算法

本文设计了一个新的求解等式约束非凸优化问题的修正牛顿算法.利用修正的拉格朗日函数,通过求解线性方程组获得搜索方向,利用价值函数的线性近似模型确定步长.在没有非奇异性假设的条件下,证明了算法的全局收敛性.数值结果表明,算法是有效的.     

等式约束非凸优化问题的修正牛顿算法（英文）

本文设计了一个新的求解等式约束非凸优化问题的修正牛顿算法.利用修正的拉格朗日函数,通过求解线性方程组获得搜索方向,利用价值函数的线性近似模型确定步长.在没有非奇异性假设的条件下,证明了算法的全局收敛性.数值结果表明,算法是有效的.     

广义交替近似梯度算法的线性收敛分析

针对两个可分凸函数的和在线性约束下的极小化问题,在交替方向法的框架下,提出广义的交替近似梯度算法.在一定的条件下,该算法具有全局及线性收敛性.数值实验表明该算法有好的数值表现.     

一种SENSE模型下信号重建的类-Dykstra近点有效算法（英文）

本文研究了SENSE模型下从部分傅里叶数据中信号的重建问题.利用类Dykstra近点方法和Bregman迭代方法,我们获得了一种SENSE模型下信号重建的加速类-Dykstra近点有效算法,并证明了该算法的收敛性.实验仿真显示,该方法比经典的分裂Bregman方法有效.     

一种SENSE模型下信号重建的类-Dykstra近点有效算法

本文研究了SENSE模型下从部分傅里叶数据中信号的重建问题.利用类Dykstra近点方法和Bregman迭代方法,我们获得了一种SENSE模型下信号重建的加速类-Dykstra近点有效算法,并证明了该算法的收敛性.实验仿真显示,该方法比经典的分裂Bregman方法有效.     

具有线性化技术的三块非凸不可分优化问题BregmanADMM收敛性分析

交替方向乘子法是求解两块可分离凸优化问题的有效方法,但是对于三块不可分的非凸优化问题的交替方向乘子法的收敛性可能无法保证.该文主要研究的是用线性化广义Bregman交替方向乘子法(L-G-BADMM)求解目标函数是三块不可分的非凸极小化问题的收敛性分析.在适当假设条件下,对算法中子问题进行求解并构建满足Kurdyka-Lojasiewicz性质的效益函数,经过理论证明可以得到该算法的收敛性.     

随机Bregman ADMM及其在训练具有离散结构的支持向量机中的应用

针对具有多块可分结构的非凸优化问题提出了一类新的随机Bregman交替方向乘子法,在周期更新规则下, 证明了该算法的渐进收敛性; 在随机更新的规则下, 几乎确定的渐进收敛性得以证明。数值实验结果表明, 该算法可有效训练具有离散结构的支持向量机。     

不等式约束最优化无严格互补条件下的快速收敛序列线性方程组算法

本文讨论无严格互补性的非线性不等式约束最优化问题,建立了一个新的序列线性方程组算法。算法每次迭代只需解一个线性方程组或计算一次广义梯度投影,并不要求Lagrange函数的近似Hessian阵正定。在较弱的假设下,证明了算法的整体收敛性、强收敛性、超线性收敛性及二次收敛速度。还对算法进行了有效的数值试验。     

非线性互补约束均衡问题的一个滤子SQP算法

提出了—个求解非线性互补约束均衡问题的滤子SQP算法.借助Fischer-Burmeister函数把均衡约束转化为—个非光滑方程组,然后利用逐步逼近和分裂思想,给出—个与原问题近似的一般的约束优化.引入滤子思想,避免了罚函数法在选择罚因子上的困难.在适当的条件下证明了算法的全局收敛性,部分的数值结果表明算法是有效的.     

箱约束变分不等式的一个简单光滑价值函数和阻尼牛顿法

通过引入中间值函数的一类光滑价值函数,构造了箱约束变分不等式的一种新的光滑价值函数,该函数形式简单且具有良好的微分性质．基于此给出了求解箱约束变分不等式的一种阻尼牛顿算法,在较弱的条件下,证明了算法的全局收敛性和局部超线性收敛率,以及对线性箱约束变分不等式的有限步收敛性．数值实验结果表明了算法可靠有效的实用性能．     

二阶锥规划一个超线性收敛的非内部连续化算法

基于非光滑向量值最小函数的一个新光滑函数, 建立了二阶锥规划一个超线性收敛的非内部连续化算法. 该算法的特点如下: 首先, 初始点任意; 其次, 每次迭代只需求解一个线性方程组即可得到搜索方向; 最后, 在无严格互补假设下, 获得算法的全局收敛性、强收敛性和超线性收敛性. 数值结果表明算法是有效的.     

m步非线性多重分裂Newton法的收敛性

本文讨论了多重分裂算法在求解一类非线性方程组的全局收敛性和单侧收敛性．当用研步Newton法来代替求得每个非线性多重分裂子问题的近似解时，同样给出相应收敛性结论．数值算例证实了算法的有效性．     

二阶锥线性互补问题的广义模系矩阵分裂迭代算法

通过将二阶锥线性互补问题转化为等价的不动点方程,介绍了一种广义模系矩阵分裂迭代算法,并研究了该算法的收敛性.进一步,数值结果表明广义模系矩阵分裂迭代算法能够有效地求解二阶锥线性互补问题.     

一种解无约束优化问题的新的非单调自适应信赖域方法

本文提出了一种解无约束优化问题的新的非单调自适应信赖域方法.这种方法借助于目标函数的海赛矩阵的近似数量矩阵来确定信赖域半径.在通常的条件下,给出了新算法的全局收敛性以及局部超线性收敛的结果,数值试验验证了新的非单调方法的有效性.     

带有P0函数的非线性互补问题的一个新的非内点连续算法

研究带有P₀函数的非线性互补问题. 基于一个新的光滑函数, 把问题近似成参数化的光滑方程组, 并且给出一个新的非内点连续算法. 所给算法在每步迭代只需要求解一个线性方程组和执行一次Armijo类型的线搜索. 在不需要严格互补条件的情况下, 证明了算法是全局收敛和超线性收敛的. 并且, 在一个较弱的条件下该算法具有局部二阶收敛性. 数值实验证实了算法的可行性和有效性.     

一类TVD格式的熵强迫函数及熵条件

1.引言 在拟线性双曲型方程差分方法的研究中,数值解的收敛性是一个重要的问题,因为这一性质决定了数值解能否近似地反映真实的物理现象。数值解的收敛性实际上包含了三方面的内容: 1°当网格步长趋于零时,数值解序列包含一个按某种范数收敛到函数u的子序列。