基于迭代光滑L_(1/2)算法的变量选择

变量选择是统计学中重要的问题之一,而利用正则化方法来进行变量选择是近年来研究的热点.采用一种迭代光滑L_(1/2)算法,通过增加参数稀疏化阈值条件,使其中绝对值较小的回归参数稀疏为0,从而实现变量选择的功能.将该算法与Lasso(least absolute shrinkage and selection operator),自适应Lasso以及L_(1/2)正则化方法进行比较,数值模拟结果表明该算法同样具有良好的变量选择和预测能力,最后将该算法应用到实际的前列腺数据分析.     

同伦摄动稀疏正则化方法及其应用

稀疏正则化方法在参数重构中起到了越来越重要的作用.与传统的正则化方法相比,稀疏正则化方法能较好地重构稀疏变量.由于稀疏正则化的不可微性,需要对已有的经典算法进行改进.本文构建同伦摄动稀疏正则化方法克服标准稀疏正则化的不可微性,并将该方法应用到基于布莱克一斯科尔斯期权定价模型重构隐含波动率和基于托达罗模型重构政策参数.数值实验表明,所提出的方法是收敛和稳定的.     

基于两种非凸惩罚函数的稀疏组变量选择

利用正则化方法来进行变量选择是近年来研究的热点.在实际应用中解释变量常常以组的形式存在,通常我们希望将重要的组和组内重要的协变量选择出来,即双重变量选择.基于两种非凸惩罚函数SCAD和MCP,分别提出了稀疏Group SCAD和稀疏Group MCP估计方法,通过分块坐标下降迭代算法,达到组内和组间变量同时稀疏的效果.数值模拟结果表明本文提出的两种方法在模型预测和变量选择能力上优于Group Lasso和稀疏Group Lasso算法.并将该算法有效地应用于实际的初生儿体重数据集分析中.     

基于L_p正则化的自适应稀疏group lasso研究

基于稀疏group lasso的思想和adaptive lasso的优点,提出更具一般性的Lp正则化的自适应稀疏group lasso,并对其高维统计性质进行了研究.通过对正则子、损失函数的性质和正则参数的选择的分析,最终得到基于Lp正则化的自适应稀疏group lasso非渐近误差界估计.     

基于ADMM正则化轨道算法的高维稀疏精度矩阵估计

考虑预测变量p的数量超过样本大小n的高维稀疏精度矩阵.近年来,由于高维稀疏精度矩阵估计变得越来越流行,所以文章专注于计算正则化路径,或者在整个正则化参数范围内解决优化问题.首先使用定义在正定性约束下最小化Lasso目标函数精度矩阵估计器,然后对稀疏精度矩阵使用乘数交替方向法(ADMM)算法正则化路径,以快速估计与正则化...     

一种基于正则化的稀疏表示方法

提出了一种基于正则化技术的信号稀疏表示方法.该方法与经典稀疏表示算法的主要区别可概括为两点:其一,直接使用e_0模而不是被广泛采用的e_1模来度量稀疏性;其二,正则化项的引入使得该模型得到的信号表达是所有表示中最优稀疏的.在本文中,正则化项采用框架势来描述稀疏表示的"最优性",利用二次可微的凹函数来逼近e_0模,得到了求解所提出的正则化模型的近似算法,并给出了收敛性分析.此外,数值实验也显现了本文所提模型及算法相比于经典算法的优越性.     

一种统一的非凸稀疏恢复的原始对偶有效集算法

研究了基于最小二乘法的稀疏信号恢复问题.针对一类非凸稀疏性罚,包括l^0、bridge、capped-l^1、光滑剪切绝对差和极小极大凹罚,提出了一种新的原始对偶有效集算法.首先证明相关优化问题的全局极小值的存在性,然后利用相关阈值算子,推导出全局极小值的一个新的必要最优条件,必要最优条件的解是坐标极小值,在一定条件下,它们也是局部的极小值.引入对偶变量后,可同时使用原变量和对偶变量确定有效集.此外,这种关系适用于一种有效集类迭代算法,该算法在每一步中首先只更新有效集上的原始变量,然后显式地更新对偶变量.结合正则化参数的延拓性,证明了原始对偶有效集方法在一定正则化条件下全局收敛于潜在回归目标.大量的数值实验表明,与现有的稀疏恢复方法相比,该方法具有较高的效率和精度.     

用于神经网络权值稀疏化的L_(1/2)正则化方法

在保证适当学习精度前提下,神经网络的神经元个数应该尽可能少(结构稀疏化),从而降低成本,提高稳健性和推广精度.本文采用正则化方法研究前馈神经网络的结构稀疏化.除了传统的用于稀疏化的L1正则化之外,本文主要采用近几年流行的L1/2正则化.为了解决L1/2正则化算子不光滑、容易导致迭代过程振荡这一问题,本文试图在不光滑点的一个小邻域内采用磨光技巧,构造一种光滑化L1/2正则化算子,希望达到比L1正则化更高的稀疏化效率.本文综述了近年来作者在用于神经网络稀疏化的L1/2正则化的一些工作,涉及的神经网络包括BP前馈神经网络、高阶神经网络、双并行前馈神经网络,以及Takagi-Sugeno模糊模型.     

稀疏函数型回归模型变量选择及实证分析

传统函数型回归模型变量选择方法,忽略了对稀疏函数型数据的讨论.提出了稀疏函数型数据情形下函数型回归模型的变量选择方法,基于条件期望对稀疏函数型自变量进行函数型主成分分析,并以估计的正交特征函数作为基函数对模型进行展开.这种方法可以有效解决对稀疏函数型变量的选择.作为实证分析,选取2002年到2011年全国34个气象观测站的年降水量,月度平均气温,光照时长,湿度,最高气温和最低气温数据,分别比较讨论了密集和稀疏情形下,原始样本和Bootstrap样本的函数型回归模型变量选择的结果,结果显示新方法具有较好的选择效果.     

分布式L_(1/2)正则化

研究数据集被分割并存储于不同处理器时的特征提取和变量选择问题,其中处理器通过某种网络结构相互连接.提出分布式L_(1/2)正则化方法,基于ADMM算法给出分布式L_(1/2)正则化算法,证明了算法的收敛性.算法通过相邻处理器之间完成信息交互,其变量选择结果与数据集不分割时利用L_(1/2)正则化相同.实验表明,所提出的新算法有效、实用,适合于分布式存储数据处理.