高维数据空间的协方差矩阵迹的比率相合性

在处理高维数据的检验和分类等问题时,涉及到协方差矩阵的估计.而在高维数据领域,协方差矩阵估计的精度将对诸如检验和分类等问题起到非常重要的影响.主要考虑多样本条件下协方差矩阵的比率相合性问题,证明了两样本和三样本情况下的高维数据协方差矩阵比率相合性.     

基于因子收缩方法的高维协方差估计

高维协方差矩阵在经济、金融、生物等众多领域中有着广泛应用.基于收缩估计模型,构造样本协方差矩阵与因子模型协方差矩阵的凸线性组合,通过对因子模型的改进来提高模型估计精度.在构造因子模型时,引入因子选择准则(pc_p3(k))来确定因子个数:在确定最优权重α时,使用基于MSE(S)分解的思想求解.通过数据验证发现,相较于传统方法,提升了协方差矩阵估计精确性;在构造投资组合模型时,也可以有效降低投资风险.     

基于网络结构的高维协方差矩阵估计

本文在Lan等~([1])利用网络结构对连续变量协方差矩阵进行估计的研究基础上进行改进和扩展,给出一种基于网络结构的高维协方差矩阵估计方法,并允许响应变量异方差性存在.该方法将高维协方差矩阵的估计问题转化为关于网络结构的低维线性回归的参数估计问题,从而极大减少了计算量.在有限样本甚至n=1的情况下,该估计方法仍然适用,且估计效果会随着矩阵维数的增大而提高.此外,本文给出一种利用协方差矩阵识别网络中关键节点的方法,该方法能同时兼顾节点自身的贡献和节点对其他节点的影响程度,因此十分适用于学术合作网络.     

低秩矩阵优化若干新进展

低秩矩阵优化是一类含有秩极小或秩约束的矩阵优化问题,在统计与机器学习、信号与图像处理、通信与量子计算、系统识别与控制、经济与金融等众多学科领域有着广泛应用,是当前最优化及其相关领域的一个重点研究方向.然而,低秩矩阵优化是一个NP-难的非凸非光滑优化问题,其研究成果并非十分丰富,亟待进一步深入研究.主要从理论和算法两个方面总结和评述若干新结果,同时列出相关的重要文献,奉献给读者.     

低秩稀疏矩阵优化问题的模型与算法

低秩稀疏矩阵优化问题是一类带有组合性质的非凸非光滑优化问题.由于零模与秩函数的重要性和特殊性,这类NP-难矩阵优化问题的模型与算法研究在过去十几年里取得了长足发展。本文从稀疏矩阵优化问题、低秩矩阵优化问题、低秩加稀疏矩阵优化问题、以及低秩张量优化问题四个方面来综述其研究现状;其中,对稀疏矩阵优化问题,主要以稀疏逆协方差矩阵估计和列稀疏矩阵优化问题为典例进行概述,而对低秩矩阵优化问题,主要从凸松弛和因子分解法两个角度来概述秩约束优化和秩(正则)极小化问题的模型与算法研究。最后,总结了低秩稀疏矩阵优化研究中的一些关键与挑战问题,并提出了一些可以探讨的问题。     

一种识别动态因子模型的秩条件——基于Gaussian似然函数的视角

为了提高高维动态因子模型识别的有效性,借鉴SVAR模型的结构分析方法,提出了通过隐性因子的新息ε_t来推断和识别动态因子模型正交结构冲击的分析过程.并且,根据动态因子模型的似然函数表示,通过信息矩阵推导出了动态因子模型识别的秩条件.秩条件仅仅依赖于因子的个数以及约束条件,而不依赖于数据的维数,易于在实际应用中验证动态因子模型的识别性.     

面板数据交互固定效应模型的协方差矩阵检验

本文研究了面板数据交互固定效应模型中协方差矩阵的检验问题.首先依据模型协方差矩阵迹的估计构造检验统计量,检验协方差矩阵是否为单位矩阵,或是单位矩阵的常数倍.然后在一定正则条件下,证明了检验统计量的渐近性质,并说明所提出的检验方法不依赖于误差分布.最后,通过模拟研究对本文的检验方法进行评价,说明所提检验方法在高维面板数据下仍然有效.     

增长曲线模型中一致最小风险无偏估计的存在性

考虑协方差阵任意，或具有均匀协方差结构，或具有序列协方差结构的正态增长曲线模型本文将文[19]在设计矩阵满秩，且仅估计回归系数矩阵的情形获得的结果推广到设计矩阵不必列满秩，且同时估计回归系数矩阵的线性可估函数和协方差阵（或有关参数）的情形；在凸损失函数类和矩阵损失函数下，给出存在一致最小风险无偏估计的充分必要条件．     

增长曲线模型中UMRE估计的存在性

对于设计矩阵不满秩，协方差阵任意或具有均匀结构或序列结构的正态增长曲线模型，本文讨论参数矩阵的一致最小风险同变（UMng）估计的存在性．在仿射变换群GI和转移交换群、二次损失和矩阵损失下本文分别获得存在回归系数矩阵的线性可估函数矩阵的UMRE估计的充要条件，推广了由[21]给出的在设计矩阵满秩下估计回归系数矩阵的结果．本文还首次证明了在群G1和二次损失下不存在协方差阵V和trV的UMRE估计．     

一种改进的求解矩阵补全问题的原始-对偶算法

低秩矩阵补全问题作为一类在机器学习和图像处理等信息科学领域中都十分重要的问题已被广泛研究.一阶原始-对偶算法是求解该问题的经典算法之一.然而实际应用中处理的数据往往是大规模的.针对大规模矩阵补全问题,本文在原始-对偶算法的框架下,应用变步长校正技术,提出了一种改进的求解矩阵补全问题的原始-对偶算法.该算法在每一步迭代过程中,首先利用原始-对偶算法对原始变量和对偶变量进行更新,然后采用变步长校正技术对这两块变量进行进一步的校正更新.在一定的假设条件下,证明了新算法的全局收敛性.最后通过求解随机低秩矩阵补全问题及图像修复的实例验证新算法的有效性.     

右删失数据下多响应AFT模型的两阶段估计

在生存分析领域,加速失效时间(AFT)模型经常被用于预测事件发生的时间.本文将该模型推广到多事件时间情形,提出了多响应AFT模型,并假设协变量是高维的,模型的系数矩阵是联合低秩且稀疏的.此外还假设多个事件时间受制于同一个右删失变量.为了估计模型中的系数矩阵,本文提出一个两阶段方法,先对数据进行逆概率删失加权(IPCW),再用SESS算法求解一个稀疏降秩回归问题.本文通过数值模拟,验证了所提方法的有效性.最后将该方法应用于一个关于白血病患者骨髓移植的临床数据集.     

基于受限等距性质的矩阵低秩稀疏逼近误差界

正1引言假设D∈R~(m×n)为实际观测到的高维数据矩阵,则从高维空间中估计一低维子空间的问题,称为矩阵低秩逼近,即估计一低秩矩阵A,使得D与A∈R~(m×n)之间的误差E=D-A最小化,该问题表示如下min‖E‖~2_F=‖D-A‖~2_F s.t.rank(A)≤r,其中r《min(m,n).求解矩阵低秩逼近问题最著名的方法是主成分分析法(Principal components analysis,PCA)[8,14,15],PCA在误差||E||_F较小的情况下,利用奇异值分解     

多指标可加模型及在医疗费用预测中的应用

对医疗费用的建模分析与合理预测是医疗保险费用厘定的基础与根本.医疗费用中的高维附加信息在长期预测中具有重要作用.然而,传统的统计建模方法不适用于处理高维纵向数据下的医疗费用.本文提出部分线性多指标可加模型,对具有高维特征的纵向医疗费用数据进行拟合与预测,并且使用两种不同的降维估计方法进行模型估计,并将该模型应用于一组含...     

高维时变投资组合模型的构造及估计

在大数据背景下,高维资产组合的构造以及选择是金融领域研究的热点和难点问题.文章构造了基于SCGARCH模型的含有范数约束的高维时变最小方差投资组合模型,将其记为NC-MVP-SCGARCH.该组合的优势主要体现在两方面:首先采用SCGARCH模型来估计和预测组合的重要输入变量——资产间的协方差阵,该模型将改进的乔列斯基分解法和卡尔曼滤波估计方法相结合,在解决了高维数据所面临的维数诅咒的同时,考虑了过去市场信息对协方差阵估计的影响;其次,基于范数约束的最小方差投资组合(NC-MVP)将l₁和l₂范数有机结合,更加适用于高维资产.研究发现:文章构造的NC-MVP-SCGARCH组合效果更优.     

高频金融数据的高维积分波动率矩阵估计

高维积分波动率矩阵是资源配置和风险管理的重要统计量,对其估计是金融统计和风险度量中的热点和核心问题之一.本文在带有市场信息的微观结构噪声下,考虑了高频金融数据大量资产的积分波动率矩阵估计问题.在多资产价格观察不同步下,当资产数和样本量都趋向于无穷时,本文利用不重叠区间方法和稀疏性特征提出了高维积分波动率矩阵估计,证明了该估计量具有相合性,较在加性噪声下的估计具有更快的收敛速度,其收敛速度可以达到已存在高维积分波动率矩阵估计在无噪声下的最快收敛速度.对所提出的估计与现有的高维积分波动率矩阵估计进行模拟比较,结果表明本文提出的估计方法具有优良的性质.最后将提出的估计应用于上海证券指数数据的实证研究中.     

线性低秩逼近与非线性降维

综合分析介绍了在线性与非线性数据约化两方面的最新工作: 对线性情形, 讨论了列分块矩阵奇异值分解的结构分析和稀疏低秩逼近方法与算法; 对非线性情形, 研究了非线性降维与流形学习的方法. 这些问题均为数据挖掘 与机器学习领域极受关注的研究课题.     

基于加速梯度算法的高维协方差矩阵估计的研究

稀疏性和正定性是高维稀疏协方差矩阵估计中要保证的两个重要性质.为了保证这两个性质被高效的实现,我们使用一个正定的l₁惩罚来估计高维协方差矩阵,并使用一个有竞争力的加速梯度算法去实现估计.实验结果表明,与其他方法相比,该方法在计算时间、正确率、错误率、F范数等指标上具有较好的表现,同时实现了最优解达到O(1/k~2)的收敛速率.     

基于随机矩阵理论的高维数据球形检验

本文基于随机矩阵理论,研究了一般总体的高维协方差矩阵的球形检验.当样本量小于数据维数时,经典的似然比检验方法在球形检验中已无法使用.通过引入样本协方差矩阵谱分布的高阶矩,构造出一个新的检验统计量,并给出其在零假设下的渐近分布.模拟实验表明所提出的统计量在控制第一类错误概率的基础上能有效提高检验功效,对于Spiked模型效果尤为显著.     

低秩矩阵恢复的混合型增广拉格朗日乘子算法CSCD

1引言低秩矩阵恢复问题,又称为鲁棒主成分分析问题或稀疏低秩矩阵分解问题,是指在较少的观测值的基础上恢复出原始矩阵.该问题来源于许多领域,如协同过滤[1,2,3],机器学习[4],图片对齐[5],信号处理[6]和量子态层析成像[7]等等.在文献[8,9,10]中,低秩矩阵恢复问题可以看作是将向量的稀疏表示推广到低秩矩阵的情形,也就是说当矩阵中某些元素严重缺失时,自动识别出损坏的元素并恢复原始矩阵[11].     

纵向数据的有效秩推断基于修正的Cholesky分解

本文基于修正的Cholesky分解提出新的方法估计纵向秩回归的组内协方差矩阵,进而提出新的无偏估计函数改善不平衡纵向数据的估计效率.在一些正则条件下,建立了所提估计的渐近正态性.进一步,提出稳健的秩得分检验统计量对回归系数做假设检验.模拟研究和实证分析表明所提方法能够获得高度有效的估计以及所提检验方法比存在的方法更好.