一类基于梯度下降的高效分布式计算方法的应用研究

针对数据集分散在不同机器的情况,本文对高维稀疏线性回归模型提出了一种通信有效的分布式学习方法,主要解决了KKT系统中的?0正则化最小二乘问题.每一轮牛顿迭代中,在每个子块上通过对KKT系统中?0正则化方法改进提高计算速度和估计的精度.对于分布存储的子块,我们的方法通过传递梯度向量从而节约数据传输的成本.实验数据表明,我...     

基于加速梯度算法的高维协方差矩阵估计的研究

稀疏性和正定性是高维稀疏协方差矩阵估计中要保证的两个重要性质.为了保证这两个性质被高效的实现,我们使用一个正定的l₁惩罚来估计高维协方差矩阵,并使用一个有竞争力的加速梯度算法去实现估计.实验结果表明,与其他方法相比,该方法在计算时间、正确率、错误率、F范数等指标上具有较好的表现,同时实现了最优解达到O(1/k~2)的收敛速率.     

用于神经网络权值稀疏化的L_(1/2)正则化方法

在保证适当学习精度前提下,神经网络的神经元个数应该尽可能少(结构稀疏化),从而降低成本,提高稳健性和推广精度.本文采用正则化方法研究前馈神经网络的结构稀疏化.除了传统的用于稀疏化的L1正则化之外,本文主要采用近几年流行的L1/2正则化.为了解决L1/2正则化算子不光滑、容易导致迭代过程振荡这一问题,本文试图在不光滑点的一个小邻域内采用磨光技巧,构造一种光滑化L1/2正则化算子,希望达到比L1正则化更高的稀疏化效率.本文综述了近年来作者在用于神经网络稀疏化的L1/2正则化的一些工作,涉及的神经网络包括BP前馈神经网络、高阶神经网络、双并行前馈神经网络,以及Takagi-Sugeno模糊模型.     

高频金融数据的高维积分波动率矩阵估计

高维积分波动率矩阵是资源配置和风险管理的重要统计量,对其估计是金融统计和风险度量中的热点和核心问题之一.本文在带有市场信息的微观结构噪声下,考虑了高频金融数据大量资产的积分波动率矩阵估计问题.在多资产价格观察不同步下,当资产数和样本量都趋向于无穷时,本文利用不重叠区间方法和稀疏性特征提出了高维积分波动率矩阵估计,证明了该估计量具有相合性,较在加性噪声下的估计具有更快的收敛速度,其收敛速度可以达到已存在高维积分波动率矩阵估计在无噪声下的最快收敛速度.对所提出的估计与现有的高维积分波动率矩阵估计进行模拟比较,结果表明本文提出的估计方法具有优良的性质.最后将提出的估计应用于上海证券指数数据的实证研究中.     

基于L_p正则化的自适应稀疏group lasso研究

基于稀疏group lasso的思想和adaptive lasso的优点,提出更具一般性的Lp正则化的自适应稀疏group lasso,并对其高维统计性质进行了研究.通过对正则子、损失函数的性质和正则参数的选择的分析,最终得到基于Lp正则化的自适应稀疏group lasso非渐近误差界估计.     

高维数据空间的协方差矩阵迹的比率相合性

在处理高维数据的检验和分类等问题时,涉及到协方差矩阵的估计.而在高维数据领域,协方差矩阵估计的精度将对诸如检验和分类等问题起到非常重要的影响.主要考虑多样本条件下协方差矩阵的比率相合性问题,证明了两样本和三样本情况下的高维数据协方差矩阵比率相合性.     

高维稀疏精度矩阵的有效分布式估计

基于去偏的D-trace损失Lasso惩罚方法和阈值方法给出了数据分布在不同机器上高维稀疏精度矩阵的分布式估计.该方法不仅可以实现稀疏精度矩阵的非零元素正确选择,而且误差速率同非分布式估计相当.数值结果进一步表明该方法的有效性.     

贝叶斯LASSO正则加权复合分位回归及其应用（英文）

回归模型一般采取传统的最小二乘估计(LSE)方法,然而当数据包含非正态特征或异常值时该估计方法会导致不稳健的参数估计.与LSE方法相比,即使出现非正态误差或异常数据,复合分位回归(CQR)方法也能提供更稳健的估计结果.基于复合反对称拉普拉斯分布(CALD),本文提出了贝叶斯框架下的加权复合分量回归(WCQR)方法.正则化方法已经被验证可以有效处理高维稀疏回归模型,它可以同时进行变量选择和参数估计.本文结合贝叶斯LASSO正则化方法和WCQR方法来拟合线性回归模型,建立了 WCQR的贝叶斯LASSO正则化分层模型,并导出了所有参数的条件后验分布以进行统计推断.最后,通过蒙特卡罗模拟和实际数据分析演示了所提出方法.     

反向热传导问题的一种新的正则化方法

讨论一个高维反向热传导问题,这是一个经典的严重不适定问题.关于这一问题我们给出一种新的正则化方法-改进的Tikhonov正则化方法,以恢复解对数据的连续依赖性.通过构造一个重要的不等式和提高先验光滑条件,获得正则解在0相似文献   

基于Lasso惩罚的迹差损失方法高维协变量调整的稀疏精度矩阵估计（英文）

本文运用两阶段估计程序给出了协变量调整的精度矩阵估计.首先,运用联合l_1惩罚方法确定影响均值的相关协变量.然后,将估计出的回归系数用于估计多元次高斯模型的均值,并通过Lasso惩罚的迹差损失方法对稀疏精度矩阵进行估计.在一些假设条件下,建立了精度矩阵估计的不同范数的收敛速率,并证明了依概率1收敛的稀疏恢复性质.数值结果表明,在有限样本情况下,同其他方法相比,我们的方法具有一定的优越性.     

低秩稀疏矩阵优化问题的模型与算法

低秩稀疏矩阵优化问题是一类带有组合性质的非凸非光滑优化问题.由于零模与秩函数的重要性和特殊性,这类NP-难矩阵优化问题的模型与算法研究在过去十几年里取得了长足发展。本文从稀疏矩阵优化问题、低秩矩阵优化问题、低秩加稀疏矩阵优化问题、以及低秩张量优化问题四个方面来综述其研究现状;其中,对稀疏矩阵优化问题,主要以稀疏逆协方差矩阵估计和列稀疏矩阵优化问题为典例进行概述,而对低秩矩阵优化问题,主要从凸松弛和因子分解法两个角度来概述秩约束优化和秩(正则)极小化问题的模型与算法研究。最后,总结了低秩稀疏矩阵优化研究中的一些关键与挑战问题,并提出了一些可以探讨的问题。     

同伦摄动稀疏正则化方法及其应用

稀疏正则化方法在参数重构中起到了越来越重要的作用.与传统的正则化方法相比,稀疏正则化方法能较好地重构稀疏变量.由于稀疏正则化的不可微性,需要对已有的经典算法进行改进.本文构建同伦摄动稀疏正则化方法克服标准稀疏正则化的不可微性,并将该方法应用到基于布莱克一斯科尔斯期权定价模型重构隐含波动率和基于托达罗模型重构政策参数.数值实验表明,所提出的方法是收敛和稳定的.     

基于因子收缩方法的高维协方差估计

高维协方差矩阵在经济、金融、生物等众多领域中有着广泛应用.基于收缩估计模型,构造样本协方差矩阵与因子模型协方差矩阵的凸线性组合,通过对因子模型的改进来提高模型估计精度.在构造因子模型时,引入因子选择准则(pc_p3(k))来确定因子个数:在确定最优权重α时,使用基于MSE(S)分解的思想求解.通过数据验证发现,相较于传统方法,提升了协方差矩阵估计精确性;在构造投资组合模型时,也可以有效降低投资风险.     

一种基于正则化的稀疏表示方法

提出了一种基于正则化技术的信号稀疏表示方法.该方法与经典稀疏表示算法的主要区别可概括为两点:其一,直接使用e_0模而不是被广泛采用的e_1模来度量稀疏性;其二,正则化项的引入使得该模型得到的信号表达是所有表示中最优稀疏的.在本文中,正则化项采用框架势来描述稀疏表示的"最优性",利用二次可微的凹函数来逼近e_0模,得到了求解所提出的正则化模型的近似算法,并给出了收敛性分析.此外,数值实验也显现了本文所提模型及算法相比于经典算法的优越性.     

基于新的Hessian近似矩阵的稀疏重构算法

一般来说,基于二次近似模型的优化算法具有良好的数值表现.然而,当基于二次近似模型的优化算法求解大规模优化问题时,若使用稠密矩阵近似目标函数在迭代点的Hessian矩阵,需要花费大量的计算成本和存储成本,因此设计Hessian矩阵合适的标量近似矩阵特别重要.对于正则化模型,利用最近三次迭代的信息,设计粗糙的标量矩阵,使用拟牛顿公式进行更新,结合近似最优梯度法的思想和梯度法的延迟策略,构造Hessian矩阵新的含有更多二阶信息的标量近似矩阵.结合非单调线搜索,提出基于新的Hessian近似矩阵的稀疏重构算法,并进行收敛性分析.实验结果表明,与经典稀疏重构算法算法相比,基于新的Hessian近似矩阵的稀疏重构算法在重构效果相似的情况下能较大地减少迭代次数和较快地重构信号.     

分类稀疏低秩表示的子空间聚类方法

近年来低秩表示和稀疏表示用于子空间聚类的研究得到了广泛关注,文献中已有许多相关的子空间聚类方法.文章结合弹性网正则化低秩表示和分类稀疏表示,提出一种分类稀疏低秩表示的子空间聚类方法.方法旨在更充分地捕获数据集的局部线性结构和全局结构信息,提高聚类性能.首先采用并行分裂的自适应惩罚的线性交替方向法求解模型,然后利用求得的系数矩阵构造相似度矩阵,最后应用谱聚类方法进行聚类.另外,取代现有方法手动调节正则化参数,文章采用自适应调节正则化参数确定目标函数中各项的权重.在人工数据集、Extended Yale B数据库和CMU PIE数据库上的实验结果表明,文章方法有更明显的聚类效果和更高的准确率.     

面板数据交互固定效应模型的协方差矩阵检验

本文研究了面板数据交互固定效应模型中协方差矩阵的检验问题.首先依据模型协方差矩阵迹的估计构造检验统计量,检验协方差矩阵是否为单位矩阵,或是单位矩阵的常数倍.然后在一定正则条件下,证明了检验统计量的渐近性质,并说明所提出的检验方法不依赖于误差分布.最后,通过模拟研究对本文的检验方法进行评价,说明所提检验方法在高维面板数据下仍然有效.     

基于指数正则化零空间鉴别分析的故障识别

提取有效的特征对高维数据的模式分类起着关键作用,针对现有故障诊断方法故障特征维数过高的问题,文章提出了一种基于指数正则化零空间线性鉴别分析(exponential regularized null space linear discriminant analysis, ERNSLDA)的故障诊断方法.零空间线性判别分析已经在数据降维和特征提取上展现出良好的性能,在文章中,首先对类内样本矩阵进行正则化处理,避免小样本问题,其次对判别准则进行指数化处理.所提方法集成了NSLDA和RLDA在模式识别上的优势,有效地提高了故障诊断的精度,通过发动机失火状态识别以及齿轮箱故障摸模拟试验验证了所提方法的有效性.     

稀疏优化模型及其正则化方法

稀疏优化模型是目前最优化领域中非常热门的研究前沿课题,在压缩感知、图像处理、机器学习和统计建模等领域都获得了成功的应用.本文以光谱分析技术、数字信号处理和推荐系统等多个应用问题为例,阐述稀疏优化模型的建模过程与核心思想.稀疏优化模型属于组合优化模型,非常难以求解(NP-难).正则化方法是稀疏优化模型的一类常用的求解方法.我们将介绍正则化方法的原理与几类常见的正则化模型,并阐述正则化模型的稳定性理论与多种先进算法.数值实验表明,这些算法都具有快速、高效、稳健等显著优点.稀疏正则化模型将在大数据时代中发挥更显著的计算优势与应用价值.     

稀疏VAR在股票收益率研究的应用

向量自回归模型(VAR)广泛应用在对时间相依的多元时间序列建模中,但在高维数据建模中,自回归的系数膨胀可能导致噪音估计、不稳定的预测、解释上的困难等问题。在实际应用中,序列的真实模型往往具有稀疏性,因此运用稀疏VAR模型对高维时间序列进行建模,不仅可以解决高维数据带来的上述困难,也有利于寻找高维数据内在的真实模型。本文以10家公司的股票收益率为研究对象,采用3种不同的稀疏估计方法,不但分析了股票收益率之间的动态关系,而且通过实证分析展示了稀疏估计的优势。