求解最大割问题的半定规划松驰的序列线性规划方法

本文基于最大割问题的半定规划松弛,利用矩阵分解的方法给出了与半定规划松弛等价的非线性规划模型,提出一种序列线性规划方法求解该模型.并在适当的条件下,证明了算法的全局收敛性.数值实验表明:序列线性规划方法在时间上要优于半定规划的内点算法.所以序列线性规划方法能更有效地求解大规模的最大割问题的半定规划松弛.     

半监督距离度量学习内蕴加速投影梯度算法

考虑求解一类半监督距离度量学习问题. 由于样本集(数据库)的规模与复杂性的激增, 在考虑距离度量学习问题时, 必须考虑学习来的距离度量矩阵具有稀疏性的特点. 因此, 在现有的距离度量学习模型中, 增加了学习矩阵的稀疏约束. 为了便于模型求解, 稀疏约束应用了Frobenius 范数约束. 进一步, 通过罚函数方法将Frobenius范数约束罚到目标函数, 使得具有稀疏约束的模型转化成无约束优化问题. 为了求解问题, 提出了正定矩阵群上加速投影梯度算法, 克服了矩阵群上不能直接进行线性组合的困难, 并分析了算法的收敛性. 最后通过UCI数据库的分类问题的例子, 进行了数值实验, 数值实验的结果说明了学习矩阵的稀疏性以及加速投影梯度算法的有效性.     

第一阶段原有单纯形和对偶单纯形算法的计算比较

线性最优化广泛应用于经济与管理的各个领域.在线性规划问题的求解中,如果一个初始基本可行解没有直接给出,则常采用经典的两阶段法求解.对含有"≥"不等式约束的线性规划问题,讨论了第一阶段原有单纯形法和对偶单纯形法两种算法形式,并根据第一阶段问题的特点提出了改进的对偶单纯形枢轴准则.最后,通过大规模数值试验对两种算法进行计算比较,结果表明,改进后的对偶单纯形算法在计算效率上明显优于原有单纯形算法.     

半监督距离度量学习的内蕴加速投影梯度算法

考虑求解一类半监督距离度量学习问题.由于样本集(数据库)的规模与复杂性的激增,在考虑距离度量学习问题时,必须考虑学习来的距离度量矩阵具有稀疏性的特点.因此,在现有的距离度量学习模型中,增加了学习矩阵的稀疏约束.为了便于模型求解,稀疏约束应用了Frobenius范数约束.进一步,通过罚函数方法将Frobenius范数约束罚到目标函数,使得具有稀疏约束的模型转化成无约束优化问题.为了求解问题,提出了正定矩阵群上加速投影梯度算法,克服了矩阵群上不能直接进行线性组合的困难,并分析了算法的收敛性.最后通过UCI数据库的分类问题的例子,进行了数值实验,数值实验的结果说明了学习矩阵的稀疏性以及加速投影梯度算法的有效性.     

求线性比试和问题的确定性全局优化算法

为求线性比试和问题的全局最优解,本文给出了一个分支定界算法.通过一个等价问题和一个新的线性化松弛技巧,初始的非凸规划问题归结为一系列线性规划问题的求解.借助于这一系列线性规划问题的解,算法可收敛于初始非凸规划问题的最优解.算法的计算量主要是一些线性规划问题的求解.数值算例表明算法是切实可行的.     

全局求解线性多乘积规划的分支定界算法

本文针对一类线性多乘积规划问题提出一种分支定界算法.首先将原问题转化为其等价形式,然后利用提出的线性松弛技术将等价问题松弛为线性规划问题,通过求解一系列线性规划问题得到原问题的全局最优解.最后给出算法的收敛性和计算复杂性.数值实验表明算法是有效的.     

稀疏优化模型及其正则化方法

稀疏优化模型是目前最优化领域中非常热门的研究前沿课题,在压缩感知、图像处理、机器学习和统计建模等领域都获得了成功的应用.本文以光谱分析技术、数字信号处理和推荐系统等多个应用问题为例,阐述稀疏优化模型的建模过程与核心思想.稀疏优化模型属于组合优化模型,非常难以求解(NP-难).正则化方法是稀疏优化模型的一类常用的求解方法.我们将介绍正则化方法的原理与几类常见的正则化模型,并阐述正则化模型的稳定性理论与多种先进算法.数值实验表明,这些算法都具有快速、高效、稳健等显著优点.稀疏正则化模型将在大数据时代中发挥更显著的计算优势与应用价值.     

《数值计算与计算机应用》2020年第41卷第4期摘要

刘伟峰.高可扩展、高性能和高实用的稀疏矩阵计算研究进展与挑战[J].数值计算与计算机应用,2020,41(3):259-281.摘要:稀疏矩阵算法是超级计算领域的热点和难点研究内容之一.本文从高可扩展、高性能和高实用这三个角度,对过去30年来国内外稀疏矩阵计算的部分主要研究工作进行了综述.并配合在三个GPU上十余个稀疏BLAS算法的测试数据.     

基于SCN函数共轭梯度方向的稀疏向量特征提取算法

稀疏向量特征提取是指在优化时利用各种范数对解进行约束,从而获得带有稀疏特征的最优解,其广泛应用于复杂系统中的机器学习、深度学习和大数据分析等领域的特征提取问题.大量的研究表明各种范数如L₀范数、L₁范数和L₂范数的方法都存在各自的缺点,主要表现在越容易求解的范数越不精准稀疏,越精准稀疏的范数越难求解.文章提出了一种基于SCN函数共轭梯度方向的稀疏向量特征发现算法(CGDL),稀疏向量特征发现可以用一个稀疏特征提取优化模型建立,其目标函数是一个SCN函数,对其中的L₀范数进行转换,形成一个具有特殊结构优化问题,这个问题等价于双层规划的凸-凹极小极大化问题,这类问题可以解决稀疏回归、图像特征和压缩感知等问题.文章给出了上述模型的稀疏特征提取算法的详细计算步骤和收敛性分析证明,并且对给定的实际数据集和高维模拟数据集对算法的有效性、复杂性和收敛速度进行了数值对比实验,表明了该算法在精准度和稀疏性上显著优于其他对比方法,并且具有较好的收敛速度.     

乘用车物流运输计划问题的建模研究

首先针对不同类型、数量乘用车的物流运输问题,构建整数线性规划模型,并对模型进行逐层优化求解,通过MATLAB编写通用程序实现计算;在此基础之上,为解决不同目的地的运输要求,采用启发式逐层优化算法进行求解;最后考虑多因素的实际问题,建立分层划分模型,提出构造型分层划分启发式算法求解.计算表明,所建模型计算结果良好,实现了对乘用车物流运输计划问题的优化.     

A proximal point algorithm revisit on the alternating direction method of multipliers

The alternating direction method of multipliers(ADMM)is a benchmark for solving convex programming problems with separable objective functions and linear constraints.In the literature it has been illustrated as an application of the proximal point algorithm(PPA)to the dual problem of the model under consideration.This paper shows that ADMM can also be regarded as an application of PPA to the primal model with a customized choice of the proximal parameter.This primal illustration of ADMM is thus complemental to its dual illustration in the literature.This PPA revisit on ADMM from the primal perspective also enables us to recover the generalized ADMM proposed by Eckstein and Bertsekas easily.A worst-case O(1/t)convergence rate in ergodic sense is established for a slight extension of Eckstein and Bertsekas’s generalized ADMM.     

An Augmented ADMM Algorithm With Application to the Generalized Lasso Problem

In this article, we present a fast and stable algorithm for solving a class of optimization problems that arise in many statistical estimation procedures, such as sparse fused lasso over a graph, convex clustering, and trend filtering, among others. We propose a so-called augmented alternating direction methods of multipliers (ADMM) algorithm to solve this class of problems. Compared to a standard ADMM algorithm, our proposal significantly reduces the computational cost at each iteration while maintaining roughly the same overall convergence speed. We also consider a new varying penalty scheme for the ADMM algorithm, which could further accelerate the convergence, especially when solving a sequence of problems with tuning parameters of different scales. Extensive numerical experiments on the sparse fused lasso problem show that the proposed algorithm is more efficient than the standard ADMM and two other existing state-of-the-art specialized algorithms. Finally, we discuss a possible extension and some interesting connections to two well-known algorithms. Supplementary materials for the article are available online.     

A GREEDY ALGORITHM FOR SPARSE PRECISION MATRIX APPROXIMATION

Precision matrix estimation is an important problem in statistical data analysis.This paper proposes a sparse precision matrix estimation approach,based on CLIME estimator and an efficient algorithm GISSρ that was originally proposed for l1 sparse signal recov-ery in compressed sensing.The asymptotic convergence rate for sparse precision matrix estimation is analyzed with respect to the new stopping criteria of the proposed GISSρ algorithm.Finally,numerical comparison of GISSρ with other sparse recovery algorithms,such as ADMM and HTP in three settings of precision matrix estimation is provided and the numerical results show the advantages of the proposed algorithm.     

A note on the sufficient initial condition ensuring the convergence of directly extended 3-block ADMM for special semidefinite programming

ABSTRACT

In this note, we consider three types of problems, H-weighted nearest correlation matrix problem and two types of important doubly non-negative semidefinite programming, derived from the binary integer quadratic programming and maximum cut problem. The dual of these three types of problems is a 3-block separable convex optimization problem with a coupling linear equation constraint. It is known that, the directly extended 3-block alternating direction method of multipliers (ADMM3d) is more efficient than many of its variants for solving these convex optimization, but its convergence is not guaranteed. By choosing initial points properly, we obtain the convergence of ADMM3d for solving the dual of these three types of problems. Furthermore, we simplify the iterative scheme of ADMM3d and show the equivalence of ADMM3d to the 2-block semi-proximal ADMM for solving the dual's reformulation, under these initial conditions.     

线性约束两分块非凸优化的ADMM-SQP算法

基于乘子交替方向法(ADMM)和序列二次规划(SQP)方法思想, 致力于研究线 性约束两分块非凸优化的新型高效算法. 首先, 以SQP思想为主线, 在其二次规划(QP)子问题的求解中引入ADMM思想, 将QP分解为两个相互独立的小规模QP求解. 其次, 借助增广拉格朗日函数和Armijo线搜索产生原始变量新迭代点. 最后, 以显式解析式更新对偶变量. 因此, 构建了一个新型ADMM-SQP算法. 在较弱条件下, 分析了算法通常意义下的全局收敛性, 并对算法进行了初步的数值试验.     

基于交替方向乘子法的大规模线性多商品流问题求解算法

企业的商品流通配送问题是典型的线性多商品流问题.由于经营规模的扩大和全球化运营模式的推行,企业所面临的问题规模正变得空前巨大,数据存储也越来越分散,传统方法已无法适应求解需求.本文基于交替方向乘子法(ADMM)的可分解性,提出一类随机ADMM算法,将大规模的问题分解成多个、规模比较小的问题,并采取随机顺序去求解这些小问题以及对偶问题,最终得到原问题的最优解.算法克服了ADMM的直接拓展求解多块问题时可能发散的缺点,并采用MnetGen生成器随机生成的多个规模不同的线性多商品流问题对算法进行了测试,验证了算法的有效性和高效的求解效率.     

Lasso变量选择的分布式算法

Lasso是机器学习中比较常用的一种变量选择方法,适用于具有稀疏性的回归问题.当样本量巨大或者海量的数据存储在不同的机器上时,分布式计算是减少计算时间提高效率的重要方式之一.本文在给出Lasso模型等价优化模型的基础上,将ADMM算法应用到此优化变量可分离的模型中,构造了一种适用于Lasso变量选择的分布式算法,证明了...     

求解两块可分离凸极小化问题的惯性交替方向乘子法

The alternating direction method of multipliers(ADMM)is a widely used method for solving many convex minimization models arising in signal and image processing.In this paper,we propose an inertial ADMM for solving a two-block separable convex minimization problem with linear equality constraints.This algorithm is obtained by making use of the inertial Douglas-Rachford splitting algorithm to the corresponding dual of the primal problem.We study the convergence analysis of the proposed algorithm in infinite-dimensional Hilbert spaces.Furthermore,we apply the proposed algorithm on the robust principal component analysis problem and also compare it with other state-of-the-art algorithms.Numerical results demonstrate the advantage of the proposed algorithm.     

基于l1-l2范数的块稀疏信号重构

压缩感知(compressed sensing,CS) 是一种全新的信息采集与处理的理论框架,借助信号内在的稀疏性或可压缩性,可以从小规模的线性、非自适应的测量中通过求解非线性优化问题重构原信号.块稀疏信号是一种具有块结构的信号,即信号的非零元是成块出现的.受YIN Peng-hang, LOU Yi-fei, HE Qi等提出的l_1-2范数最小化方法的启发,将基于l₁-l₂范数的稀疏重构算法推广到块稀疏模型,证明了块稀疏模型下l₁-l₂范数的相关性质,建立了基于l₁-l₂范数的块稀疏信号精确重构的充分条件,并通过DCA(difference of convex functions algorithm) 和ADMM(alternating direction method of multipliers)给出了求解块稀疏模型下l₁-l₂范数的迭代方法.数值实验表明,基于l₁-l₂范数的块稀疏重构算法比其他块稀疏重构算法具有更高的重构成功率.     

An inexact alternating direction method of multipliers with relative error criteria

In this paper, we study an inexact version of the alternating direction method of multipliers (ADMM) for solving two-block separable linearly constrained convex optimization problems. Specifically, the two subproblems in the classic ADMM are allowed to be solved inexactly by certain relative error criteria, in the sense that only two parameters are needed to control the inexactness. Related convergence analysis are established under the assumption that the solution set to the KKT system of the problem is not empty. Numerical results on solving a class of sparse signal recovery problems are also provided to demonstrate the efficiency of the proposed algorithm.