大规模矩阵降维的随机逼近方法

大规模矩阵降维和分解是数据分析的核心问题之一,在工程领域应用广泛,如图像分割、文本分类、数据挖掘,然而,传统的矩阵分解方法(如SVD、谱分解)计算复杂度高,不适用于大规模矩阵处理.近些年来,随机逼近方法用来发现大规模矩阵的低维近似,有效地降低了计算复杂度,是当今的研究热点.围绕基于随机逼近的大矩阵降维方法展开论述,介绍了矩阵降维中的抽样策略、CUR分解、Nystrom方法、随机逼近方法,比较研究了这些方法的优缺点.对重要的随机逼近方法开展了一些图像试验分析.最后,进行了总结并讨论了一些方向的可行性.     

行(列)反对称矩阵的满秩分解和广义逆

本文研究了行(列)转置矩阵与行(列)反对称矩阵的性质.利用分块矩阵理论获得了许多新的结果,给出了行(列)反对称矩阵的满秩分解、秩分解和广义逆的公式及快速算法.它们可极大地减少行(列)反对称矩阵的满秩分解、秩分解和广义逆的计算量与存储量,并且不会丧失数值精度.     

线性低秩逼近与非线性降维

综合分析介绍了在线性与非线性数据约化两方面的最新工作: 对线性情形, 讨论了列分块矩阵奇异值分解的结构分析和稀疏低秩逼近方法与算法; 对非线性情形, 研究了非线性降维与流形学习的方法. 这些问题均为数据挖掘 与机器学习领域极受关注的研究课题.     

张量鲁棒主成分分析的增广拉格朗日交替方向方法

张量的鲁棒主成分分析是将未知的一个低秩张量与一个稀疏张量从已知的它们的和中分离出来.因为在计算机视觉与模式识别中有着广阔的应用前景,该问题在近期成为学者们的研究热点.本文提出了一种针对张量鲁棒主成分分析的新的模型,并给出交替方向极小化的求解算法,在求解过程中给出了两种秩的调整策略.针对低秩分量本文对其全部各阶展开矩阵进行低秩矩阵分解,针对稀疏分量采用软阈值收缩的策略.无论目标低秩张量为精确低秩或近似低秩,本文所提方法均可适用.本文对算法给出了一定程度上的收敛性分析,即算法迭代过程中产生的任意收敛点均满足KKT条件.如果目标低秩张量为精确低秩,当迭代终止时可对输出结果进行基于高阶奇异值分解的修正.针对人工数据和真实视频数据的数值实验表明,与同类型算法相比,本文所提方法可以得到更好的结果.     

矩阵填充的子空间逼近法

本文提出了一种矩阵填充的子空间逼近法.该算法以奇异值分解的子空间逼近为基础,运用二次规划技术产生子空间中最接近的可行矩阵,从而获得较好的可行矩阵.该算法通过阈值的奇异值个数逐步减少达到子空间的降秩,最后得到最优低秩矩阵.本文证明了在一定条件下子空间逼近法是收敛的.通过与增广Lagrange乘子算法和正交秩1矩阵逼近法进行随机实验对比,本文所提方法在CPU时间和低秩性上均更有效.     

基于受限等距性质的矩阵低秩稀疏逼近误差界

正1引言假设D∈R~(m×n)为实际观测到的高维数据矩阵,则从高维空间中估计一低维子空间的问题,称为矩阵低秩逼近,即估计一低秩矩阵A,使得D与A∈R~(m×n)之间的误差E=D-A最小化,该问题表示如下min‖E‖~2_F=‖D-A‖~2_F s.t.rank(A)≤r,其中r《min(m,n).求解矩阵低秩逼近问题最著名的方法是主成分分析法(Principal components analysis,PCA)[8,14,15],PCA在误差||E||_F较小的情况下,利用奇异值分解     

C．R．Rao不等式的简单证明

引进多边矩阵理论中的分解算子,对单位阵进行正交投影分解,再利用投影矩阵秩等于迹及矩阵秩≥0的性质,给出了C.R.Rao不等式的一个简单证明.     

用随机奇异值分解算法求解矩阵恢复问题

本文研究了大型低秩矩阵恢复问题.利用随机奇异值分解（RSVD）算法,对稀疏矩阵做奇异值分解.该算法与Lanczos方法相比,在误差精度一致的同时运算时间大大降低,且该算法对相对低秩矩阵也有效.     

数据缺损矩阵低秩分解的正则化方法

数据缺损下矩阵低秩逼近问题出现在许多数据处理分析与应用领域. 由于极高的元素缺损率,数据缺损下的矩阵低秩逼近呈现很大的不适定性, 因而寻求有效的数值算法是一个具有挑战性的课题. 本文系统完整地综述了作者近期在这方面的一些研究进展, 给出了基本模型问题的不适定性理论分析, 提出了两种新颖的正则化方法: 元素约束正则化和引导正则化, 分别适用于中等程度的数据缺损和高度元素缺损的矩阵低秩逼近. 本文同时也介绍了相应快速有效的数值算法. 在一些实际的大规模数值例子中, 这些新的正则化算法均表现出比现有其他方法都好的数值特性.     

广义行(列)酉对称矩阵的Moore-penrose逆

通过对母矩阵进行奇异值分解的方法得到广义行(列)酉对称矩阵的奇异值分解进一步得到其Moore-penrose逆;用谱分解方法得到母矩阵的Moore-penrose逆,进一步得到广义行(列)酉对称矩阵的Moore-penrose逆.     

行(或列)对称矩阵的满秩分解及其算法

1 引言矩阵满秩分解是线性代数的基本分解方法之一,在广义逆矩阵的求解过程中起着重要的作用．矩阵A的满秩分解及A的Moore-Penrose逆不仅有着广泛的现实应用,而且也有理论研究意义,尤其是在数理统计,系统理论,优化计算和控制论等许多领域应用十分广泛．如用计算机对具有对称性质的图像进行采样,所得到的数据矩阵具有行或列对     

住户调查中户内样本抽样方法的比较研究

抽样调查是获取社会经济调查数据的主要手段,其抽样设计一般采用分层多阶段不等概的抽样设计。但是,在抽样设计和实际抽样中,人们往往忽视末端样本个体的抽样,本文主要基于中国家庭动态跟踪调查数据对末端样本的概率抽样方法进行比较研究。     

基于SVD的本征正交分解算法在偏微分方程中的降阶数值模式研究

本文分别论述全矩阵、距平矩阵以及归一化矩阵的奇异正交分解(Singular Value Decomposition,简称SVD)算法的理论基础,推导了任意矩阵的SVD分解过程并且在任意矩阵SVD分解的基础上,给出两种本征正交分解(Proper Orthogonal Decomposition,简称POD)算法,将POD算法与Galerkin投影相结合可以将偏微分方程的高维或者无穷维解投影到POD模态构成的完备空间中进行降阶模拟,进而得到高度近似的低维解,比较用不同阶POD模态降阶前后解的稳定性及精确性.最后给出数值算例分析两种本征正交分解算法的优劣性及适用性.     

求解结构矩阵低秩逼近的交替投影方法

结构矩阵低秩逼近在图像压缩、计算机代数和语音编码中有广泛应用.首先给出了几类结构矩阵的投影公式,再利用交替投影方法计算结构矩阵低秩逼近问题.数值试验表明新方法是可行的.     

对矩阵的秩的讨论

1.说明矩阵的秩与向量组的秩的联系。2.不采用矩阵分块法来证明“左(右)乘列(行)满秩阵,矩阵的秩不变”的结论,以此体现关于可逆阵的秩的结论向行(列)满秩阵的推广,以及借行(列)满秩阵的转置将非方阵问题转化为方阵问题的处理方法。     

低秩矩阵恢复的混合型增广拉格朗日乘子算法CSCD

1引言低秩矩阵恢复问题,又称为鲁棒主成分分析问题或稀疏低秩矩阵分解问题,是指在较少的观测值的基础上恢复出原始矩阵.该问题来源于许多领域,如协同过滤[1,2,3],机器学习[4],图片对齐[5],信号处理[6]和量子态层析成像[7]等等.在文献[8,9,10]中,低秩矩阵恢复问题可以看作是将向量的稀疏表示推广到低秩矩阵的情形,也就是说当矩阵中某些元素严重缺失时,自动识别出损坏的元素并恢复原始矩阵[11].     

基于矩阵填充的混合协同过滤推荐算法研究

针对传统协同过滤算法中由于评分数据稀疏性而导致推荐效率低下问题,提出一种混合协同过滤推荐算法.算法首先使用Slope One算法计算出预测评分,以填充原始评分矩阵中未得到评分的项目,降低了评分矩阵的稀疏度,保证了填充值的多掸性.然后使用SVD技术对填充的评分矩阵奇异值分解,采用随机梯度降低误差的方法,对结果进行分析,寻...     

用随机奇异值分解算法求解矩阵恢复问题（英文）

本文研究了大型低秩矩阵恢复问题.利用随机奇异值分解(RSVD)算法,对稀疏矩阵做奇异值分解.该算法与Lanczos方法相比,在误差精度一致的同时运算时间大大降低,且该算法对相对低秩矩阵也有效.     

酉对称矩阵的极分解

为了简化大型行(列)酉对称矩阵的极分解,研究了酉对称矩阵的性质,获得了一些新的结果,给出了酉对称矩阵的极分解和广义逆的公式,它们可极大地减少行(列)酉对称矩阵的极分解的计算量与存储量,并且不会丧失数值精度.同时对酉对称矩阵的极分解作了扰动分析.     

纵向数据下半参数联合均值协方差模型的贝叶斯分析

基于改进的Cholesky分解,研究分析了纵向数据下半参数联合均值协方差模型的贝叶斯估计和贝叶斯统计诊断,其中非参数部分采用B样条逼近.主要通过应用Gibbs抽样和Metropolis-Hastings算法相结合的混合算法获得模型中未知参数的贝叶斯估计和贝叶斯数据删除影响诊断统计量.并利用诊断统计量的大小来识别数据的异常点.模拟研究和实例分析都表明提出的贝叶斯估计和诊断方法是可行有效的.