线性与非线性规划算法与理论

线性规划与非线性规划是数学规划中经典而重要的研究方向. 主要介绍该研究方向的背景知识,并介绍线性规划、无约束优化和约束优化的最新算法与理论以及一些前沿与热点问题. 交替方向乘子法是一类求解带结构的约束优化问题的方法,近年来倍受重视. 全局优化是一个对于应用优化领域非常重要的研究方向. 因此也试图介绍这两个方面的一些最新研究进展和问题.     

非凸非光滑不可分离优化的线性对称邻近ADMM收敛性分析

交替方向乘子法(ADMM)是一种求解可分离优化问题的简单有效的方法,相关研究已经较为完善.然而,当目标函数存在耦合项时,对ADMM算法收敛性的研究还处于初期.文章针对非凸非光滑不可分离优化问题,基于对称交替方向乘子法(SADMM),结合线性化技术,提出了一种新的线性对称邻近ADMM.在一定的假设条件下,证明了算法生成的序列有界并收敛至增广拉格朗日函数的稳定点.其次,当辅助函数满足Kurdyka-Lojasiewicz性质时,证明了算法的强收敛性.最后,数值实验的结果表明了算法的有效性.     

非凸两分块问题超松弛步长邻近ADMM的收敛性分析

讨论带线性约束的非凸两分块优化问题,旨在分析带超松弛步长参数的邻近乘子交替方向法(PADMM)的收敛性.已有乘子交替方向法均要求对偶变量迭代步长参数θ∈(0,1+√5/2].文章在θ∈(0,2)的情形下分析PADMM的收敛性.首先,在适当的假设条件下,证明了该算法的全局收敛性.其次,当效益函数满足Kurdyka-(L)...     

非凸优化带松弛步的对称ADMM局部线性收敛率分析

基于对称交替方向乘子法(ADMM),结合松弛步技巧,该文提出一种带松弛步的对称ADMM用于求解两分块线性约束非凸优化问题.同时,新算法乘子更新步采用不同的松弛因子.常规假设下,给出新算法子序列的收敛性证明.误差界条件下,分析并获得由新算法产生的迭代点列以线性收敛的速率局部趋于问题稳定点,相应增广拉格朗日函数序列亦线性收敛.最后,初步试验结果表明新算法是有效的.     

一类非凸优化问题广义交替方向法的收敛性

考虑利用广义交替方向法(GADMM)求解线性约束两个函数和的最小值问题,其中一个函数为凸函数,另一个函数可以表示为两个凸函数的差.对GADMM的每一个子问题,采用两个凸函数之差算法中的线性化技术来处理.通过假定相应函数满足Kurdyka-ojasiewicz不等式,当增广Lagrange(拉格朗日)函数的罚参数充分大时,证明了GADMM所产生的迭代序列收敛到增广Lagrange函数的稳定点.最后,给出了该算法的收敛速度分析.     

非凸多分块优化的Bregman ADMM的收敛率研究

Wang等提出了求解带线性约束的多块可分非凸优化问题的带Bregman距离的交替方向乘子法(Bregman ADMM),并证明了其收敛性.该文将进一步研究求解带线性约束的多块可分非凸优化问题的Bregman ADMM的收敛率,以及算法产生的迭代点列有界的充分条件.在效益函数的Kurdyka-Lojasiewicz (KL)性质下,该文建立了值和迭代的收敛速率,证明了与目标函数相关的各种KL指数值可获得Bregman ADMM的三种不同收敛速度.更确切地说,该文证明了如下结果:如果效益函数的KL指数θ=0,那么由Bregman ADMM生成的序列经过有限次迭代后收敛;如果θ∈(0,1/2],那么Bregman ADMM是线性收敛的;如果θ∈(1/2,1),那么Bregman ADMM是次线性收敛的.     

随机Bregman ADMM及其在训练具有离散结构的支持向量机中的应用

针对具有多块可分结构的非凸优化问题提出了一类新的随机Bregman交替方向乘子法,在周期更新规则下, 证明了该算法的渐进收敛性; 在随机更新的规则下, 几乎确定的渐进收敛性得以证明。数值实验结果表明, 该算法可有效训练具有离散结构的支持向量机。     

求解变量带简单界约束的非线性规划问题的信赖域方法

1．引言。本文考虑下述变量带简单界约束的非线性规划问题：问题（1．1）不仅是实际应用中出现的简单的约束最优化问题,而且相当一部分最优化问题可以把变量限制在有意义的区间内181．因此,无论在理论方面还是在实际应用方面,都有必要研究此种问题．给出简便而且有效的算法．有些文章提出了一些特殊的方法．如011和［2］．14］及16］提出了一类信赖域方法,它们都借助于某种辅助点,证明了算法的全局收敛性．在收敛速度的分析方面,除要求在＊－T点满足严格互补松弛外,它们还要求另一个条件,即在每次迭代中,辅助点的有效约束必须在尝…     

一类自适应广义交替方向乘子法

广义交替方向乘子法是求解凸优化问题的有效算法.当实际问题中子问题难以求解时,可以采用在子问题中添加邻近项的方法处理,邻近矩阵正定时,算法收敛,然而这也会使迭代步长较小.最新研究表明,邻近矩阵可以有一定的不正定性.本文在基于不定邻近项的广义交替方向乘子法框架下,提出一种自适应的广义交替方向乘子法,动态地选择邻近矩阵,增大迭代步长.在一些较弱的假设下,证明了算法的全局收敛性.我们进行一些初等数值实验,验证了算法的有效性.     

随机椭圆最优控制问题的随机配置方法

本文讨论求解随机系数泊松方程约束最优控制问题的有效数值方法.通过应用有限元方法和随机配置法,将原最优控制问题离散转化为最优化问题,再利用交替方向乘子法求解最优化问题.之后,对所提出的算法进行了收敛性分析,并通过数值实验验证了算法的有效性.     

广义交替近似梯度算法的线性收敛分析

针对两个可分凸函数的和在线性约束下的极小化问题,在交替方向法的框架下,提出广义的交替近似梯度算法.在一定的条件下,该算法具有全局及线性收敛性.数值实验表明该算法有好的数值表现.     

基于交替方向乘子法的大规模线性多商品流问题求解算法

企业的商品流通配送问题是典型的线性多商品流问题.由于经营规模的扩大和全球化运营模式的推行,企业所面临的问题规模正变得空前巨大,数据存储也越来越分散,传统方法已无法适应求解需求.本文基于交替方向乘子法(ADMM)的可分解性,提出一类随机ADMM算法,将大规模的问题分解成多个、规模比较小的问题,并采取随机顺序去求解这些小问题以及对偶问题,最终得到原问题的最优解.算法克服了ADMM的直接拓展求解多块问题时可能发散的缺点,并采用MnetGen生成器随机生成的多个规模不同的线性多商品流问题对算法进行了测试,验证了算法的有效性和高效的求解效率.     

线性约束两分块非凸优化的ADMM-SQP算法

基于乘子交替方向法(ADMM)和序列二次规划(SQP)方法思想, 致力于研究线 性约束两分块非凸优化的新型高效算法. 首先, 以SQP思想为主线, 在其二次规划(QP)子问题的求解中引入ADMM思想, 将QP分解为两个相互独立的小规模QP求解. 其次, 借助增广拉格朗日函数和Armijo线搜索产生原始变量新迭代点. 最后, 以显式解析式更新对偶变量. 因此, 构建了一个新型ADMM-SQP算法. 在较弱条件下, 分析了算法通常意义下的全局收敛性, 并对算法进行了初步的数值试验.     

三个可分离算子凸优化的线性化方法

本文研究了三个可分离算子不含交叉变量的线性约束凸优化问题.利用定制的邻近点算法,对其变分不等式子问题进行线性化处理,并增加一邻近点项,使其子问题成为易于运算的单调线性变分不等式,得到了线性化定制的邻近点算法,并证明了全局收敛性,推广了文献中的研究结果.     

A 2-block semi-proximal ADMM for solving the H-weighted nearest correlation matrix problem

Higham considered two types of nearest correlation matrix (NCM) problems, namely the W-weighted case and the H-weighted case. Since there exists well-defined computable formula for the projection onto the symmetric positive semidefinite cone under the W-weighting, it has been well studied to make several Lagrangian dual-based efficient numerical methods available. But these methods are not applicable for the H-weighted case mainly due to the lack of a computable formula. The H-weighted case remains numerically challenging, especially for the highly ill-conditioned weight matrix H. In this paper, we aim to solve the dual form of the H-weighted NCM problem, which has three separable blocks in the objective function with the second part being linear. Based on the linear part, we reformulate it as a new problem with two separable blocks, and introduce the 2-block semi-proximal alternating direction method of multipliers to deal with it. The efficiency of the proposed algorithms is demonstrated on the random test problems, whose weight matrix H are highly ill-conditioned or rank deficient.