低秩稀疏矩阵优化问题的模型与算法

低秩稀疏矩阵优化问题是一类带有组合性质的非凸非光滑优化问题.由于零模与秩函数的重要性和特殊性,这类NP-难矩阵优化问题的模型与算法研究在过去十几年里取得了长足发展。本文从稀疏矩阵优化问题、低秩矩阵优化问题、低秩加稀疏矩阵优化问题、以及低秩张量优化问题四个方面来综述其研究现状;其中,对稀疏矩阵优化问题,主要以稀疏逆协方差矩阵估计和列稀疏矩阵优化问题为典例进行概述,而对低秩矩阵优化问题,主要从凸松弛和因子分解法两个角度来概述秩约束优化和秩(正则)极小化问题的模型与算法研究。最后,总结了低秩稀疏矩阵优化研究中的一些关键与挑战问题,并提出了一些可以探讨的问题。     

基于新的Hessian近似矩阵的稀疏重构算法

一般来说,基于二次近似模型的优化算法具有良好的数值表现.然而,当基于二次近似模型的优化算法求解大规模优化问题时,若使用稠密矩阵近似目标函数在迭代点的Hessian矩阵,需要花费大量的计算成本和存储成本,因此设计Hessian矩阵合适的标量近似矩阵特别重要.对于正则化模型,利用最近三次迭代的信息,设计粗糙的标量矩阵,使用拟牛顿公式进行更新,结合近似最优梯度法的思想和梯度法的延迟策略,构造Hessian矩阵新的含有更多二阶信息的标量近似矩阵.结合非单调线搜索,提出基于新的Hessian近似矩阵的稀疏重构算法,并进行收敛性分析.实验结果表明,与经典稀疏重构算法算法相比,基于新的Hessian近似矩阵的稀疏重构算法在重构效果相似的情况下能较大地减少迭代次数和较快地重构信号.     

三对角矩阵计算

1 引言 在数值计算中,有许多问题最后归结为三对角矩阵的计算,因此研究它们的计算方法是有意义的。此外,有些三对角阵的计算方法可以做为带状阵计算的借鉴。 本文讨论三对角线性方程组的解耦算法,矩阵的LR~(-1)分解,求行列式,Jacobi矩阵的特征值与特征向量的关系以及三对角阵求逆等方面的问题,与现有的算法比较,本文的算法具有计算量或存贮量较少,或计算精度较高,或编程较简单等某些特点。 设A为n阶非奇实三对角阵:     

关于具优势对称部分的不定线性代数方程组的分裂极小残量算法

１．引 言 考虑大型稀疏线性代数方程组 为利用系数矩阵的稀疏结构以尽可能减少存储空间和计算开销，Ｋｒｙｌｏｖ子空间迭代算法［１，１６，２３］及其预处理变型［６，８，１３，１８，１９］通常是求解（１）的有效而实用的方法．当系数矩阵对称正定时，共轭梯度法（ＣＧ（     

一个求大规模非负不可约稀疏矩阵的谱半径及特征向量的新算法

本文设计了一个计算非负不可约矩阵的谱半径及其特征向量的新算法,并证明了其收敛性.该算法计算晕不大,占用内存少,有相同的0元模式,从而在大规模稀疏矩阵的计算中优势明显.最后用实例验证了此算法的可行性.     

一种求解特征值问题的广义共轭梯度算法

本文基于阻尼块反幂法与子空间投影算法设计了一种求解特征值问题的广义共轭梯度算法,同时也实现了相应的计算软件包.然后对算法和计算过程进行一系列的优化来提高算法的稳定性、计算效率和并行可扩展性,使得本文的算法适合在并行计算环境下求解大规模稀疏矩阵的特征值.所形成的软件包不依赖于矩阵和向量的具体结构,可以应用于任意的矩阵向量结构.针对几种典型矩阵的测试结果表明,本文的算法和软件包不但具有良好的数值稳定性和可扩展性,同时相比于SLEPc软件包中的LOBPCG (locally optimal block preconditioned conjugate gradient)和Jacobi-Davidson解法器有2至6倍的效率提升.软件包的网址是https://github.com/pase2017/GCGE-1.0.     

Jordan标准形过渡矩阵的一种算法

给出Jordan定理的一个证明,以及Jordan标准形过渡矩阵的一种算法:求出一线性方程组解空间的基,解空间即是矩阵关于某特征值的特征向量、广义特征向量所张成的子空间,在该解空间中依次找出各特征向量及所对应的广义特征向量.一个8阶矩阵的计算实例表明算法简便实用.     

第六讲 扫除算法

1.引言 扫除算子(Sweep operator)是对矩阵的一种变换运算,也称为扫除变换或扫除算法.其实质是高斯──约唐消去法求逆矩阵的一种改进算法. 扫除算法可用于求解线代数方程组,计算矩阵的逆阵(包括广义道),也可以用于计算行列式的值.在统计计算中,扫除算法有很丰富的统计含义,它是回归分析、判别分析及各种逐步算法的基础.本文将从矩阵代数运算和统计含义两个方面对扫除算法作一个简要的介绍.最后还给出FORTRAN程序. 2.从回归计算谈起 设线性回归模型为Y=Xβ+e　　　(2.1)其中 X,Y可为观测数据,β为回归系数,e为随机误差.通常假设有m个自…     

基于ADMM正则化轨道算法的高维稀疏精度矩阵估计

考虑预测变量p的数量超过样本大小n的高维稀疏精度矩阵.近年来,由于高维稀疏精度矩阵估计变得越来越流行,所以文章专注于计算正则化路径,或者在整个正则化参数范围内解决优化问题.首先使用定义在正定性约束下最小化Lasso目标函数精度矩阵估计器,然后对稀疏精度矩阵使用乘数交替方向法(ADMM)算法正则化路径,以快速估计与正则化...     

基于加速梯度算法的高维协方差矩阵估计的研究

稀疏性和正定性是高维稀疏协方差矩阵估计中要保证的两个重要性质.为了保证这两个性质被高效的实现,我们使用一个正定的l₁惩罚来估计高维协方差矩阵,并使用一个有竞争力的加速梯度算法去实现估计.实验结果表明,与其他方法相比,该方法在计算时间、正确率、错误率、F范数等指标上具有较好的表现,同时实现了最优解达到O(1/k~2)的收敛速率.     

上三角矩阵最小奇异值估计的有关问题

1 引言 任何数值计算问题都应分析计算结果的精度.若使用向后稳定算法,则摄动分析把精度估计转化为条件数估计.从实用看,有一些数值代数问题的条件数估计相当于估计某个上三角阵的最小奇异值.这些问题包括;线性代数方程组的求解,用QR分解求解无约束最小二乘问题,矩阵不变子空间的计算,矩阵束的广义不变子空间及收缩子空间对的计算,矩阵Ricatti方程的求解.     

k步转移矩阵的频谱插值计算法

本较全面研究了系统状态转移矩阵的各种计算方法，在分析这些方法在实用计算中各自特点的同时，提出了较为有效的频谱插值计算法。作为应用与比较，中给出了几十特殊转移矩阵的计算结果。     

基于基底合并的分片稀疏恢复

如我们所知,诸如视频和图像等信号可以在某些框架下被表示为稀疏信号,因此稀疏恢复(或稀疏表示)是信号处理、图像处理、计算机视觉、机器学习等领域中被广泛研究的问题之一.通常大多数在稀疏恢复中的有效快速算法都是基于求解$l^0$或者$l^1$优化问题.但是,对于求解$l^0$或者$l^1$优化问题以及相关算法所得到的理论充分性条件对信号的稀疏性要求过严.考虑到在很多实际应用中,信号是具有一定结构的,也即,信号的非零元素具有一定的分布特点.在本文中,我们研究分片稀疏恢复的唯一性条件和可行性条件.分片稀疏性是指一个稀疏信号由多个稀疏的子信号合并所得.相应的采样矩阵是由多个基底合并组成.考虑到采样矩阵的分块结构,我们引入了子矩阵的互相干性,由此可以得到相应$l^0$或者$l^1$优化问题可精确恢复解的稀疏度的新上界.本文结果表明.通过引入采样矩阵的分块结构信息.可以改进分片稀疏恢复的充分性条件.以及相应$l^0$或者$l^1$优化问题整体稀疏解的可靠性条件.     

用随机奇异值分解算法求解矩阵恢复问题

本文研究了大型低秩矩阵恢复问题.利用随机奇异值分解（RSVD）算法,对稀疏矩阵做奇异值分解.该算法与Lanczos方法相比,在误差精度一致的同时运算时间大大降低,且该算法对相对低秩矩阵也有效.     

三对角与五对角Toeplitz矩阵求逆的算法

提出了一种求三对角与五对角Toeplitz矩阵逆的快速算法,其思想为先将Toeplitz矩阵扩展为循环矩阵,再快速求循环矩阵的逆,进而运用恰当矩阵分块求原Toeplitz矩阵的逆的算法.算法稳定性较好且复杂度较低.数值例子显示了算法的有效性和稳定性,并指出了算法的适用范围.     

三对角矩阵求逆的算法

研究了一般的非奇三对角矩阵的求逆,并给出了一个求逆矩阵的简单算法.首先研究了具有Doolittle分解的三对角矩阵的求逆,得到一个求逆的算法,然后将该算法推广到一般的非奇三对角矩阵上.最后给出了该算法与其它求逆方法的比较,可以看到该算法一方面计算量低,另一方面适用于不需任何附加条件的一般的非奇三对角矩阵.     

瞬态动力问题的遂单元矩阵分裂和逐步积分方法

本文对瞬态动力问题,结合逐步积分方法提出了一类广义的矩阵分裂和逐单元松弛算法,摆脱了有限元法通常需形成总体刚度矩阵,总体质量矩阵和求解大型稀疏方程组的工作,理论分析和计算实例表明,本文的广义矩阵分裂是最优的分裂方案.本文的算法物理意义明确,便于编写程序推广应用.     

用随机奇异值分解算法求解矩阵恢复问题（英文）

本文研究了大型低秩矩阵恢复问题.利用随机奇异值分解(RSVD)算法,对稀疏矩阵做奇异值分解.该算法与Lanczos方法相比,在误差精度一致的同时运算时间大大降低,且该算法对相对低秩矩阵也有效.     

基于矩阵的可变粒度变精度邻域粗糙集近似集更新方法

邻域粗糙集可以同时处理名义与数值属性,多粒度粗糙集提供多个粒度视角下的目标概念近似,变精度粗糙集使得近似集计算不再局限于完全包含。本文首先提出了一种同时具有以上三种粗糙集模型长处并且粒度可变的变精度多粒度邻域粗糙集模型,并设计基于矩阵的近似集计算与更新方法：首先提出静态计算近似集的矩阵算法,继而考虑在邻域粒变小时,基于静态计算算法对近似集进行更新,提出一种邻域粒变小时近似集更新的矩阵算法,最后通过UCI公开数据集实验验证了计算与更新算法的有效性。     

快速幂法子空间跟踪

子空间跟踪算法是许多工程计算问题的核心.Hua等人将计算特征值问题的幂法扩展为自然幂法子空间跟踪算法.在指出基于秩1矩阵更新的自然幂法的快速实现方案NP3不收敛的同时,应用矩阵求逆引理给出了一种新的快速子空间跟踪算法:快速幂法子空间跟踪算法.仿真实验表明,所提算法是收敛与稳定的,其性能优于或相当于几种常见的快速子空间跟踪算法.