一种基于正则化的稀疏表示方法

提出了一种基于正则化技术的信号稀疏表示方法.该方法与经典稀疏表示算法的主要区别可概括为两点:其一,直接使用e_0模而不是被广泛采用的e_1模来度量稀疏性;其二,正则化项的引入使得该模型得到的信号表达是所有表示中最优稀疏的.在本文中,正则化项采用框架势来描述稀疏表示的"最优性",利用二次可微的凹函数来逼近e_0模,得到了求解所提出的正则化模型的近似算法,并给出了收敛性分析.此外,数值实验也显现了本文所提模型及算法相比于经典算法的优越性.     

基于L_p正则化的自适应稀疏group lasso研究

基于稀疏group lasso的思想和adaptive lasso的优点,提出更具一般性的Lp正则化的自适应稀疏group lasso,并对其高维统计性质进行了研究.通过对正则子、损失函数的性质和正则参数的选择的分析,最终得到基于Lp正则化的自适应稀疏group lasso非渐近误差界估计.     

灰色系统模型病态矩阵的双正则化算法

灰色系统模型矩阵会存在病态问题.为消除其病态性,基于病态矩阵的双正则化方法,建立了正则化灰色系统模型中灰参数求解的表达式,给出了其导出方式;提出了正则参数α的选择原则.从而避免了灰参数求解过程中矩阵的病态问题.数值试验分析说明,灰色系统模型的双正则化算法是正确和适用的.     

稀疏优化模型及其正则化方法

稀疏优化模型是目前最优化领域中非常热门的研究前沿课题,在压缩感知、图像处理、机器学习和统计建模等领域都获得了成功的应用.本文以光谱分析技术、数字信号处理和推荐系统等多个应用问题为例,阐述稀疏优化模型的建模过程与核心思想.稀疏优化模型属于组合优化模型,非常难以求解(NP-难).正则化方法是稀疏优化模型的一类常用的求解方法.我们将介绍正则化方法的原理与几类常见的正则化模型,并阐述正则化模型的稳定性理论与多种先进算法.数值实验表明,这些算法都具有快速、高效、稳健等显著优点.稀疏正则化模型将在大数据时代中发挥更显著的计算优势与应用价值.     

基于新的Hessian近似矩阵的稀疏重构算法

一般来说,基于二次近似模型的优化算法具有良好的数值表现.然而,当基于二次近似模型的优化算法求解大规模优化问题时,若使用稠密矩阵近似目标函数在迭代点的Hessian矩阵,需要花费大量的计算成本和存储成本,因此设计Hessian矩阵合适的标量近似矩阵特别重要.对于正则化模型,利用最近三次迭代的信息,设计粗糙的标量矩阵,使用拟牛顿公式进行更新,结合近似最优梯度法的思想和梯度法的延迟策略,构造Hessian矩阵新的含有更多二阶信息的标量近似矩阵.结合非单调线搜索,提出基于新的Hessian近似矩阵的稀疏重构算法,并进行收敛性分析.实验结果表明,与经典稀疏重构算法算法相比,基于新的Hessian近似矩阵的稀疏重构算法在重构效果相似的情况下能较大地减少迭代次数和较快地重构信号.     

基于ADMM正则化轨道算法的高维稀疏精度矩阵估计

考虑预测变量p的数量超过样本大小n的高维稀疏精度矩阵.近年来,由于高维稀疏精度矩阵估计变得越来越流行,所以文章专注于计算正则化路径,或者在整个正则化参数范围内解决优化问题.首先使用定义在正定性约束下最小化Lasso目标函数精度矩阵估计器,然后对稀疏精度矩阵使用乘数交替方向法(ADMM)算法正则化路径,以快速估计与正则化...     

Hull-White短期利率模型参数估计

基于Hull-White短期利率模型,提出了一种有效的正则化方法给出模型稳定的参数估计.实证结果表明了直接估计具有时间变量参数是不稳定,而正则化方法通过调整正则化参数获得稳定的估计结果.此外,比较Vasicek模型和Hull-White模型的拟合结果,后者得到很大的改善.     

基于贝叶斯一稀疏约束正则化方法的地震波形反演

将稀疏约束正则化方法应用于地震波形反演问题.为了减弱对稀疏约束项的光滑性要求,引入贝叶斯推断,产生一组收敛于后验分布的采样点.通过数值算例记录了采样点的条件期望、方差、置信区间等具有统计意义的结果.数值结果表明,在没有光滑性的要求下,稀疏约束正则化方法对孔洞模型和分层模型中的介质边缘有良好的识别能力.特别地,当减少观测数据时,稀疏约束正则化方法仍能获得较好的反演结果.     

用于神经网络权值稀疏化的L_(1/2)正则化方法

在保证适当学习精度前提下,神经网络的神经元个数应该尽可能少(结构稀疏化),从而降低成本,提高稳健性和推广精度.本文采用正则化方法研究前馈神经网络的结构稀疏化.除了传统的用于稀疏化的L1正则化之外,本文主要采用近几年流行的L1/2正则化.为了解决L1/2正则化算子不光滑、容易导致迭代过程振荡这一问题,本文试图在不光滑点的一个小邻域内采用磨光技巧,构造一种光滑化L1/2正则化算子,希望达到比L1正则化更高的稀疏化效率.本文综述了近年来作者在用于神经网络稀疏化的L1/2正则化的一些工作,涉及的神经网络包括BP前馈神经网络、高阶神经网络、双并行前馈神经网络,以及Takagi-Sugeno模糊模型.     

Hull-White模型中参数校准的正则化方法

基于Hull-White模型,研究由零息债券的市场价格进行参数校准的问题.构造函数将问题转化为正则化问题,并利用正则化方法得到解的存在性,稳定性和所满足的必要条件.最后利用必要条件进行数值计算,给出了数值模拟算例和实证分析,数值结果表明了方法中引入正则项的有效性,且改善了其参数的稳定性,具有实际意义.     

分类稀疏低秩表示的子空间聚类方法

近年来低秩表示和稀疏表示用于子空间聚类的研究得到了广泛关注,文献中已有许多相关的子空间聚类方法.文章结合弹性网正则化低秩表示和分类稀疏表示,提出一种分类稀疏低秩表示的子空间聚类方法.方法旨在更充分地捕获数据集的局部线性结构和全局结构信息,提高聚类性能.首先采用并行分裂的自适应惩罚的线性交替方向法求解模型,然后利用求得的系数矩阵构造相似度矩阵,最后应用谱聚类方法进行聚类.另外,取代现有方法手动调节正则化参数,文章采用自适应调节正则化参数确定目标函数中各项的权重.在人工数据集、Extended Yale B数据库和CMU PIE数据库上的实验结果表明,文章方法有更明显的聚类效果和更高的准确率.     

贝叶斯LASSO正则加权复合分位回归及其应用（英文）

回归模型一般采取传统的最小二乘估计(LSE)方法,然而当数据包含非正态特征或异常值时该估计方法会导致不稳健的参数估计.与LSE方法相比,即使出现非正态误差或异常数据,复合分位回归(CQR)方法也能提供更稳健的估计结果.基于复合反对称拉普拉斯分布(CALD),本文提出了贝叶斯框架下的加权复合分量回归(WCQR)方法.正则化方法已经被验证可以有效处理高维稀疏回归模型,它可以同时进行变量选择和参数估计.本文结合贝叶斯LASSO正则化方法和WCQR方法来拟合线性回归模型,建立了 WCQR的贝叶斯LASSO正则化分层模型,并导出了所有参数的条件后验分布以进行统计推断.最后,通过蒙特卡罗模拟和实际数据分析演示了所提出方法.     

AR模型辨识的稀疏结构迭代算法

模型估计是机器学习领域一个重要的研究内容,动态数据的模型估计是系统辨识和系统控制的基础.针对AR时间序列模型辨识问题,证明了在给定阶数下AR模型参数的最小二乘估计本质上也是一种矩估计.根据结构风险最小化原理,通过对模型拟合度和模型复杂度的折衷,提出了基于稀疏结构迭代的AR序列模型估计算法,并讨论了基于广义岭估计的最优正则化参数选取规则.数值结果表明,方法能以节省参数的方式有效地实现AR模型的辨识,比矩估计法结果有明显改善.     

具有Log型惩罚函数的稀疏正则化

研究具有Log型惩罚函数的稀疏正则化,给出一种新的非凸变量选择及压缩感知策略,提出一种高效快速阈值迭代算法.并通过变量选择问题和稀疏信号重建验证了所提出的Log型稀疏正则化模型的有效性.     

维数发散乘积回归模型的M估计

针对乘积回归模型,本文提出了非凹惩罚最小乘积相对误差的M估计(简称为惩罚MLPRE),该方法可有效处理高维样本量及参数维数随样本量增大而增大的稀疏乘积回归模型.基于一些正则条件,本文得到惩罚M-LPRE参数估计的相合性和渐近正态性等理论性质,通过数值模拟和实例分析,验证了惩罚M-LPRE准则的有效性.     

一个基于张量火车分解的张量填充方法及在图像恢复中的应用

低秩张量填充在数据恢复中有广泛应用, 基于张量火车(TT) 分解的张量填充模型在彩色图像和视频以及互联网数据恢复中应用效果良好。本文提出一个基于三阶张量TT分解的填充模型。在模型中, 引入稀疏正则项与时空正则项, 分别刻画核张量的稀疏性和数据固有的块相似性。根据问题的结构特点, 引入辅助变量将原模型等价转化成可分离形式, 并采用临近交替极小化(PAM) 与交替方向乘子法(ADMM) 相结合的方法求解模型。数值实验表明, 两正则项的引入有利于提高数据恢复的稳定性和实际效果, 所提出方法优于其他方法。在采样率较低或图像出现结构性缺失时, 其方法效果较为显著。     

一个基于张量火车分解的张量填充方法及在图像恢复中的应用

低秩张量填充在数据恢复中有广泛应用, 基于张量火车(TT) 分解的张量填充模型在彩色图像和视频以及互联网数据恢复中应用效果良好。本文提出一个基于三阶张量TT分解的填充模型。在模型中, 引入稀疏正则项与时空正则项, 分别刻画核张量的稀疏性和数据固有的块相似性。根据问题的结构特点, 引入辅助变量将原模型等价转化成可分离形式, 并采用临近交替极小化(PAM) 与交替方向乘子法(ADMM) 相结合的方法求解模型。数值实验表明, 两正则项的引入有利于提高数据恢复的稳定性和实际效果, 所提出方法优于其他方法。在采样率较低或图像出现结构性缺失时, 其方法效果较为显著。     

一种统一的非凸稀疏恢复的原始对偶有效集算法

研究了基于最小二乘法的稀疏信号恢复问题.针对一类非凸稀疏性罚,包括l^0、bridge、capped-l^1、光滑剪切绝对差和极小极大凹罚,提出了一种新的原始对偶有效集算法.首先证明相关优化问题的全局极小值的存在性,然后利用相关阈值算子,推导出全局极小值的一个新的必要最优条件,必要最优条件的解是坐标极小值,在一定条件下,它们也是局部的极小值.引入对偶变量后,可同时使用原变量和对偶变量确定有效集.此外,这种关系适用于一种有效集类迭代算法,该算法在每一步中首先只更新有效集上的原始变量,然后显式地更新对偶变量.结合正则化参数的延拓性,证明了原始对偶有效集方法在一定正则化条件下全局收敛于潜在回归目标.大量的数值实验表明,与现有的稀疏恢复方法相比,该方法具有较高的效率和精度.     

一类偏积分-微分方程中的反问题

对一类偏积分-微分方程中参数校准的反问题进行研究.在弱解的框架下,原问题可转化为含具体正则化项的最优化问题.文中证明了该最优化问题的解的存在性和稳定性,并考察了最优解存在的一阶必要条件.另外,证明了当正则化参数足够大时,该最优化问题关于参数a的凸性性质.基于偏积分-微分方程反问题的研究对于金融市场中的模型校准问题具有重要的意义.     

基于迭代光滑L_(1/2)算法的变量选择

变量选择是统计学中重要的问题之一,而利用正则化方法来进行变量选择是近年来研究的热点.采用一种迭代光滑L_(1/2)算法,通过增加参数稀疏化阈值条件,使其中绝对值较小的回归参数稀疏为0,从而实现变量选择的功能.将该算法与Lasso(least absolute shrinkage and selection operator),自适应Lasso以及L_(1/2)正则化方法进行比较,数值模拟结果表明该算法同样具有良好的变量选择和预测能力,最后将该算法应用到实际的前列腺数据分析.