求解单调包含问题的惯性混合非精确邻近点算法

本文提出了求解单调包含问题的一类新的惯性混合非精确邻近点算法(简记为iHIPPA)在适当的参数假设下,我们证明了求解单调包含问题的iHIPPA所产生点列的弱收敛性,获得了iHIPPA的非渐近收敛率为■及iHIPPA的遍历迭代复杂性为O(1/k).作为应用,我们还建立了求解单调变分包含问题的惯性邻近收缩算法,求解广义变分不等式问题的惯性投影邻近点算法,及求解原始一对偶问题的惯性非精确调比部分逆算法产生点列的收敛性及相应算法的非渐近收敛率及遍历迭代复杂性.本文结果推广和改进了文献中的相应结论.最后,本文应用新的惯性交替方向乘子法用以求解LASSO问题,而且一些初步的试验结果表明了新的算法的优越性.     

一类自适应广义交替方向乘子法

广义交替方向乘子法是求解凸优化问题的有效算法.当实际问题中子问题难以求解时,可以采用在子问题中添加邻近项的方法处理,邻近矩阵正定时,算法收敛,然而这也会使迭代步长较小.最新研究表明,邻近矩阵可以有一定的不正定性.本文在基于不定邻近项的广义交替方向乘子法框架下,提出一种自适应的广义交替方向乘子法,动态地选择邻近矩阵,增大迭代步长.在一些较弱的假设下,证明了算法的全局收敛性.我们进行一些初等数值实验,验证了算法的有效性.     

非凸优化带松弛步的对称ADMM局部线性收敛率分析

基于对称交替方向乘子法(ADMM),结合松弛步技巧,该文提出一种带松弛步的对称ADMM用于求解两分块线性约束非凸优化问题.同时,新算法乘子更新步采用不同的松弛因子.常规假设下,给出新算法子序列的收敛性证明.误差界条件下,分析并获得由新算法产生的迭代点列以线性收敛的速率局部趋于问题稳定点,相应增广拉格朗日函数序列亦线性收敛.最后,初步试验结果表明新算法是有效的.     

非凸非光滑不可分离优化的线性对称邻近ADMM收敛性分析

交替方向乘子法(ADMM)是一种求解可分离优化问题的简单有效的方法,相关研究已经较为完善.然而,当目标函数存在耦合项时,对ADMM算法收敛性的研究还处于初期.文章针对非凸非光滑不可分离优化问题,基于对称交替方向乘子法(SADMM),结合线性化技术,提出了一种新的线性对称邻近ADMM.在一定的假设条件下,证明了算法生成的序列有界并收敛至增广拉格朗日函数的稳定点.其次,当辅助函数满足Kurdyka-Lojasiewicz性质时,证明了算法的强收敛性.最后,数值实验的结果表明了算法的有效性.     

两分块非凸优化Peaceman-Rachford分裂序列二次规划双步长算法

本文研究大规模两分块非凸约束优化的分解降维算法,提出Peaceman-Rachford (PR)分裂序列二次规划双步长求解方法.本文主要工作和贡献如下:(1)借助PR分裂算法思想将传统二次规划(quadratic programming, QP)子问题的增广Lagrange问题分解为两个小规模QP子问题;(2)通过求解小规模QP产生搜索方向;(3)以增广Lagrange函数为效益函数,沿搜索方向先后进行Armijo线搜索产生双迭代步长,在较弱的条件下保证了算法的全局收敛性、强收敛性和合理的迭代复杂性,克服了Maratos效应;(4)提出乘子新的对称型修正技术;(5)基于一类数学模型和电力系统经济调度模型以及?₂正则二分类问题,对算法进行大量中等规模的比较数值实验,验证了算法的有效性.     

求解时谐涡流模型鞍点问题的分块交替分裂隐式迭代算法的改进

分块交替分裂隐式迭代方法是求解具有鞍点结构的复线性代数方程组的一类高效迭代法.本文通过预处理技巧得到原方法的一种加速改进方法,称之为预处理分块交替分裂隐式迭代方法·理论分析给出了新方法的收敛性结果.对于一类时谐涡旋电流模型问题,我们给出了若干满足收敛条件的迭代格式.数值实验验证了新型算法是对原方法的有效改进.     

一般单调变分不等式的近似邻近外梯度算法

近似邻近点算法是求解单调变分不等式的一个有效方法,该算法通过解决一系列强单调子问题,产生近似邻近点序列来逼近变分不等式的解,而外梯度算法则通过每次迭代中增加一个投影来克服一般投影算法限制太强的缺点,但它们均未能改变迭代步骤中不规则闭凸区域上投影难计算的问题.于是,本文结合外梯度算法的迭代格式,构造包含原投影区域的半空间,将投影建立在半空间上,简化了投影的求解过程,并对新的邻近点序列作相应限制,使得改进的算法具有较好的收敛性.     

Hilbert空间中求解分裂可行问题CQ算法的强收敛性

在Hilbert空间中,为了研究分裂可行问题迭代算法的强收敛性,提出了一种新的CQ算法.首先利用CQ算法构造了一个改进的Halpern迭代序列； 然后通过把分裂可行问题转化为算子不动点， 在较弱的条件下， 证明了该序列强收敛到分裂可行问题的一个解. 推广了Wang和Xu的有关结果.     

关于鞍点问题的预处理HSS-SOR交替分裂迭代方法

为了高效地求解大型稀疏鞍点问题,在白中治,Golub和潘建瑜提出的预处理对称/反对称分裂(PHss)迭代法的基础上,通过结合SOR-like迭代格式对原有迭代算法进行加速,提出了一种预处理HSS-SOR交替分裂迭代方法,并研究了该算法的收敛性.数值例子表明:通过参数值的选择,新算法比SOR-like和PHSS算法都具有更快的收敛速度和更少的迭代次数,选择了合适的参数值后,可以提高算法的收敛效率.     

非凸多分块优化的Bregman ADMM的收敛率研究

Wang等提出了求解带线性约束的多块可分非凸优化问题的带Bregman距离的交替方向乘子法(Bregman ADMM),并证明了其收敛性.该文将进一步研究求解带线性约束的多块可分非凸优化问题的Bregman ADMM的收敛率,以及算法产生的迭代点列有界的充分条件.在效益函数的Kurdyka-Lojasiewicz (KL)性质下,该文建立了值和迭代的收敛速率,证明了与目标函数相关的各种KL指数值可获得Bregman ADMM的三种不同收敛速度.更确切地说,该文证明了如下结果:如果效益函数的KL指数θ=0,那么由Bregman ADMM生成的序列经过有限次迭代后收敛;如果θ∈(0,1/2],那么Bregman ADMM是线性收敛的;如果θ∈(1/2,1),那么Bregman ADMM是次线性收敛的.     

一种带有不定性邻近项的广义Peaceman-Rachford分裂法

针对带有线性约束的可分离凸优化问题,提出一种带有不定邻近项的广义Peaceman-Rachford (PR)分裂法.在较弱假设条件下,证明该算法迭代序列的全局收敛性和建立起在遍历情况下的最坏O(1/t)收敛速率.最后,通过数值实验验证了所提算法的有效性.     

不等式约束优化的一个超线性收敛FSSLE算法

本文针对不等式约束优化问题,提出了一个可行序列线性方程组(FSSLE)算法.该算法每次迭代只需求解四个具有相同系数矩阵的线性方程组,因而计算量较小.在没有假设算法产生的聚点是孤立点和近似乘子列有界的条件下,证明了算法具有全局收敛性.在一般条件下,证明了算法具有超线性收敛性.     

求解广义绝对值方程的交替牛顿矩阵多分裂方法

本文针对广义绝对值方程,提出了基于牛顿法的矩阵多分裂方法.并在该方法的基础上进一步改进,得到了基于牛顿法的交替矩阵多分裂方法.给出两种算法在一定条件下的全局收敛性,并分析当分裂为H分裂时,基于牛顿法的矩阵多分裂方法的收敛条件.通过数值实验验证了所提出的算法的可行性和有效性.     

MBFGS算法中迭代矩阵的收敛性

Li-Fukushima[3]提出了一种修正的BFGS方法MBFGS算法.本文研究MBFGS算法中迭代矩阵的收敛性.我们证明在一定条件下,MBFGS算法用于求解严格凸二次函数极小值时产生的迭代矩阵序列是收敛的.     

修正乘子交替方向法求解三个可分离算子的凸优化

指出直接推广的经典乘子交替方向法对三个算子的问题不能保证收敛的原因, 并且给出将其改造成收敛算法的相应策略. 同时, 在一个统一框架下, 证明了修正的乘子交替方向法的收敛性和遍历意义下具有O(1/t)~收敛速率.     

一种推广的求解可分离凸优化问题的黄金比率邻近ADMM算法

ADMM算法是求解可分离凸优化问题的经典算法之一,但其无法保证原始迭代序列的收敛性且其子问题计算量很大.为了保证该算法所有迭代点列的全局收敛性及提高计算效率,采用凸组合技术的黄金比率邻近ADMM算法被提出,其中凸组合因子Ψ是关键参数.本文在黄金比率邻近ADMM算法的基础上,扩大了凸组合因子Ψ的取值范围,提出了收敛步长范围更广的推广黄金比率邻近ADMM算法.并在一定的假设下,证明了算法的全局收敛性及函数值残差和约束违反度在遍历意义下的O(1/N)次线性收敛速度.以及,当目标函数中任意一个函数强凸时,证明了算法在遍历意义下的O(1/N²)收敛率.最后,本文通过数值试验表明推广算法的有效性.     

求解二次损失函数优化问题的分布式共轭梯度算法

提出一种在分布式环境中利用共轭梯度法优化二次损失函数的算法,该算法利用本地子机器局部损失函数的一阶导数信息更新迭代点,在每次迭代中执行两轮通信,通过通信协作使主机器上的损失函数之和最小化.经过理论分析,证明该算法具有线性收敛性.在模拟数据集上与分布式交替方向乘子法进行对比,结果表明分布式共轭梯度算法更匹配于集中式性能....     

关于带扰动映像的广义平衡问题与k-严格伪压缩映像的不动点问题的强收敛定理

在Hilbert空间中提出一种新的迭代算法,用于寻求带扰动映像的广义平衡问题与k-严格伪压缩映像的不动点问题的公共解.此外,证明了由此迭代算法生成的序列的强收敛性.所得到的结果,推广并改进了最近一些人所发布的新结果.     

非光滑凸规划不可行拟牛顿束方法的收敛性分析

利用改进函数将非光滑凸约束优化问题转化成无约束优化问题,构造了一个具有迫近形式的不可行拟牛顿束算法.值得注意的是,随着每次迭代的进行,该算法的无约束优化子问题的目标函数可能发生改变(取零步目标函数不改变,取下降步则更新目标函数),为此必须做必要的调整以保证算法的收敛性.本文主要采用了Sagastizabal和So1odov的不可行束方法的思想,在每个迭代点不一定是原始可行的情况下,得出了算法产生序列的每一个聚点是原问题最优解的收敛性结果.进一步,本文针对目标函数强凸情况下的BFGS拟牛顿算法,得到了全局收敛结果中保证拟牛顿矩阵有界的条件以及迭代序列的R-线性收敛结果.     

惯性混合投影法求解分裂公共不动点问题

本文主要在Hilbert空间中研究一个求解关于多值半压缩映射的分裂公共不动点问题的修正算法,在适当的条件下,我们运用惯性和混合投影技术证明了该算法的强收敛性.最后给出本算法的相关应用及数值实验说明算法的有效性.本文结果改进和推广了已有文献的相关结果.