分布式L_(1/2)正则化

研究数据集被分割并存储于不同处理器时的特征提取和变量选择问题,其中处理器通过某种网络结构相互连接.提出分布式L_(1/2)正则化方法,基于ADMM算法给出分布式L_(1/2)正则化算法,证明了算法的收敛性.算法通过相邻处理器之间完成信息交互,其变量选择结果与数据集不分割时利用L_(1/2)正则化相同.实验表明,所提出的新算法有效、实用,适合于分布式存储数据处理.     

基于两种非凸惩罚函数的稀疏组变量选择

利用正则化方法来进行变量选择是近年来研究的热点.在实际应用中解释变量常常以组的形式存在,通常我们希望将重要的组和组内重要的协变量选择出来,即双重变量选择.基于两种非凸惩罚函数SCAD和MCP,分别提出了稀疏Group SCAD和稀疏Group MCP估计方法,通过分块坐标下降迭代算法,达到组内和组间变量同时稀疏的效果.数值模拟结果表明本文提出的两种方法在模型预测和变量选择能力上优于Group Lasso和稀疏Group Lasso算法.并将该算法有效地应用于实际的初生儿体重数据集分析中.     

基于ADMM正则化轨道算法的高维稀疏精度矩阵估计

考虑预测变量p的数量超过样本大小n的高维稀疏精度矩阵.近年来,由于高维稀疏精度矩阵估计变得越来越流行,所以文章专注于计算正则化路径,或者在整个正则化参数范围内解决优化问题.首先使用定义在正定性约束下最小化Lasso目标函数精度矩阵估计器,然后对稀疏精度矩阵使用乘数交替方向法(ADMM)算法正则化路径,以快速估计与正则化...     

同伦摄动稀疏正则化方法及其应用

稀疏正则化方法在参数重构中起到了越来越重要的作用.与传统的正则化方法相比,稀疏正则化方法能较好地重构稀疏变量.由于稀疏正则化的不可微性,需要对已有的经典算法进行改进.本文构建同伦摄动稀疏正则化方法克服标准稀疏正则化的不可微性,并将该方法应用到基于布莱克一斯科尔斯期权定价模型重构隐含波动率和基于托达罗模型重构政策参数.数值实验表明,所提出的方法是收敛和稳定的.     

基于L_(1/2)正则化Logistic回归的上市公司财务危机预警模型

针对财务危机预警模型指标存在信息冗余及Logistic回归模型预测精度有待提高的不足,利用L_(1/2)范数惩罚技术优化Logistic回归模型,构建基于L_(1/2)正则化Logistic回归的上市公司财务危机预警新模型.通过以沪深股市制造业股票交易得到特别处理(Special Treatment, ST)公司和非ST公司为研究对象,对比研究传统Logistic回归和L_1正则化Logistic回归模型的预测结果,实证研究表明:通过L_(1/2)正则化的Logistic回归模型不仅可以实现参数估计和变量选择,而且具有更高的预测精度和泛化能力.研究体现了新模型对预警问题的合理性和优越性,为上市公司财务危机预警后续研究提供一定的借鉴.     

具有Log型惩罚函数的稀疏正则化

研究具有Log型惩罚函数的稀疏正则化,给出一种新的非凸变量选择及压缩感知策略,提出一种高效快速阈值迭代算法.并通过变量选择问题和稀疏信号重建验证了所提出的Log型稀疏正则化模型的有效性.     

Lasso变量选择的分布式算法

Lasso是机器学习中比较常用的一种变量选择方法,适用于具有稀疏性的回归问题.当样本量巨大或者海量的数据存储在不同的机器上时,分布式计算是减少计算时间提高效率的重要方式之一.本文在给出Lasso模型等价优化模型的基础上,将ADMM算法应用到此优化变量可分离的模型中,构造了一种适用于Lasso变量选择的分布式算法,证明了...     

基于ArctanLASSO的参数估计和变量选取

本文受到SICA(smooth integration of counting and absolute deviation)方法的启发,提出一族基于反正切函数的非凸罚函数Arctan LASSO(Arctangent least absolute shrinkage and selection operator),该罚函数可以进行参数估计和变量选取,而且提供了一种有效的平滑方法从L_0过渡到L_1罚函数,渐近性质表明Arctan LASSO估计量具有n~(1/2)相合性和oracle性质.本文结合LLA(local linear approximation)和坐标下降法给出一种有效的迭代算法,并且基于BIC(Bayesian information criterion)准则选出合适的正则化参数.模拟数据分析显示Arctan LASSO在估计精度和变量选取方面有较好的表现,估计效果类似于SICA,而且通常优于LASSO、SCAD(smoothly clipped absolute deviation)、MCP(minimax concave penalty)和自适应LASSO.该方法在实际数据中可以用于变量选取的研究,具有重要的实际意义.     

稳健L_q(0<q<1)正则化理论:解的渐近分布与变量选择一致性

本文提出稳健Lq(0q∞)正则化模型,证明该模型解的全局渐近分布定理.应用该定理可进一步证明当0q1时所提出的模型具有变量选择一致性,从而具有良好的变量选择能力.基于所获得的理论结果,提出一类求解该模型的无参量加权迭代算法,并给出相应的正则化参数选择策略.数值试验表明本文提出的模型与算法可行、有效,有广泛的应用价值.     

一种求解弹性l_2-l_q正则化问题的算法

给出了一种求解弹性l_{2}-l_{q}正则化问题的迭代重新加权l_{1}极小化算法, 并证明了由该算法产生的迭代序列是有界且渐进正则的. 对于任何有理数q\in(0,1), 基于一个代数的方法, 进一步证明了迭代重新加权l_{1}极小化算法收敛到弹性l_{2}-l_{q}(0相似文献   

用于神经网络权值稀疏化的L_(1/2)正则化方法

在保证适当学习精度前提下,神经网络的神经元个数应该尽可能少(结构稀疏化),从而降低成本,提高稳健性和推广精度.本文采用正则化方法研究前馈神经网络的结构稀疏化.除了传统的用于稀疏化的L1正则化之外,本文主要采用近几年流行的L1/2正则化.为了解决L1/2正则化算子不光滑、容易导致迭代过程振荡这一问题,本文试图在不光滑点的一个小邻域内采用磨光技巧,构造一种光滑化L1/2正则化算子,希望达到比L1正则化更高的稀疏化效率.本文综述了近年来作者在用于神经网络稀疏化的L1/2正则化的一些工作,涉及的神经网络包括BP前馈神经网络、高阶神经网络、双并行前馈神经网络,以及Takagi-Sugeno模糊模型.     

一种统一的非凸稀疏恢复的原始对偶有效集算法

研究了基于最小二乘法的稀疏信号恢复问题.针对一类非凸稀疏性罚,包括l^0、bridge、capped-l^1、光滑剪切绝对差和极小极大凹罚,提出了一种新的原始对偶有效集算法.首先证明相关优化问题的全局极小值的存在性,然后利用相关阈值算子,推导出全局极小值的一个新的必要最优条件,必要最优条件的解是坐标极小值,在一定条件下,它们也是局部的极小值.引入对偶变量后,可同时使用原变量和对偶变量确定有效集.此外,这种关系适用于一种有效集类迭代算法,该算法在每一步中首先只更新有效集上的原始变量,然后显式地更新对偶变量.结合正则化参数的延拓性,证明了原始对偶有效集方法在一定正则化条件下全局收敛于潜在回归目标.大量的数值实验表明,与现有的稀疏恢复方法相比,该方法具有较高的效率和精度.     

带有组结构的稀疏模型的参数估计和变量选择方法

本文针对带有组结构的广义线性稀疏模型,引入布雷格曼散度作为一般性的损失函数,进行参数估计和变量选择,使得该方法不局限于特定模型或特定的损失函数.本文比较研究了Ridge,SACD,Lasso,自适应Lasso,组Lasso,分层Lasso,自适应分层Lasso和稀疏组Lasso共8种惩罚函数的特点和引入模型后参数估计和...     

一种基于正则化的稀疏表示方法

提出了一种基于正则化技术的信号稀疏表示方法.该方法与经典稀疏表示算法的主要区别可概括为两点:其一,直接使用e_0模而不是被广泛采用的e_1模来度量稀疏性;其二,正则化项的引入使得该模型得到的信号表达是所有表示中最优稀疏的.在本文中,正则化项采用框架势来描述稀疏表示的"最优性",利用二次可微的凹函数来逼近e_0模,得到了求解所提出的正则化模型的近似算法,并给出了收敛性分析.此外,数值实验也显现了本文所提模型及算法相比于经典算法的优越性.     

稀疏优化模型及其正则化方法

稀疏优化模型是目前最优化领域中非常热门的研究前沿课题,在压缩感知、图像处理、机器学习和统计建模等领域都获得了成功的应用.本文以光谱分析技术、数字信号处理和推荐系统等多个应用问题为例,阐述稀疏优化模型的建模过程与核心思想.稀疏优化模型属于组合优化模型,非常难以求解(NP-难).正则化方法是稀疏优化模型的一类常用的求解方法.我们将介绍正则化方法的原理与几类常见的正则化模型,并阐述正则化模型的稳定性理论与多种先进算法.数值实验表明,这些算法都具有快速、高效、稳健等显著优点.稀疏正则化模型将在大数据时代中发挥更显著的计算优势与应用价值.     

贝叶斯LASSO正则加权复合分位回归及其应用（英文）

回归模型一般采取传统的最小二乘估计(LSE)方法,然而当数据包含非正态特征或异常值时该估计方法会导致不稳健的参数估计.与LSE方法相比,即使出现非正态误差或异常数据,复合分位回归(CQR)方法也能提供更稳健的估计结果.基于复合反对称拉普拉斯分布(CALD),本文提出了贝叶斯框架下的加权复合分量回归(WCQR)方法.正则化方法已经被验证可以有效处理高维稀疏回归模型,它可以同时进行变量选择和参数估计.本文结合贝叶斯LASSO正则化方法和WCQR方法来拟合线性回归模型,建立了 WCQR的贝叶斯LASSO正则化分层模型,并导出了所有参数的条件后验分布以进行统计推断.最后,通过蒙特卡罗模拟和实际数据分析演示了所提出方法.     

改进的自适应Lasso方法在股票市场中的应用

在金融领域,自适应Lasso被广泛的用于股票价格预测模型中的变量选择和参数估计。然而,自适应Lasso是针对非时间序列模型提出的,忽略了时间序列模型特定的结构,比如时间序列模型中通常会出现滞后阶数越靠后,对未来的预测能力越弱的特性,从而,容易造成估计及预测不精确。因此,时间序列模型的变量选择惩罚参数的设计应与滞后阶数相关,即对越靠后的滞后阶数应加上越大的惩罚。为了充分考虑时间序列模型的特性且保留自适应Lasso的优点,本文针对时间序列AR(p)模型提出一种改进的自适应Lasso(MA Lasso)方法,通过在自适应Lasso惩罚基础上乘以一个关于滞后阶数单调不减的函数来达到目标。这样设计的惩罚参数的另一个优点是通过选取特定的惩罚参数,Lasso,自适应Lasso方法都是MA Lasso方法的特例。进一步,对于AR(p)模型中另一个重要参数p的选择问题,本文提出一种改进的BIC模型准则来选择p。最后,将MA Lasso方法应用到中证100指数中,实证分析表明,与Lasso和自适应Lasso相比,MA Lasso选择最简模型且预测效果最佳,即选择最少的预测变量的同时且具有最小的模型预测误差。     

基于L_p正则化的自适应稀疏group lasso研究

基于稀疏group lasso的思想和adaptive lasso的优点,提出更具一般性的Lp正则化的自适应稀疏group lasso,并对其高维统计性质进行了研究.通过对正则子、损失函数的性质和正则参数的选择的分析,最终得到基于Lp正则化的自适应稀疏group lasso非渐近误差界估计.     

退化抛物型方程弱解的存在性

讨论初值为u_0,v_0∈L_+~4(Ω),w∈W~(1,p)(Ω)(p≥2)时退化抛物型方程弱解的存在性.首先利用截断的方法将原问题正则化,化为u_0,v_0∈L_+~∞(Ω)的退化问题,接着对正则化问题的解做估计(这里的估计与具体的截断无关),最后利用弱收敛性,通过取极限的方法证明了原问题解的存在性.     

稀疏观测数据下热传导方程逆时反问题的数值反演

探讨一类带第二类边界条件的一维热传导方程逆时问题,首先利用分离变量法推导了反问题的积分表达形式,然后基于解析延拓技术,证明了基于稀疏附加数据下反问题的唯一性,并对反问题的不适定性进行说明,接着利用线性叠加原理及有限元插值技术,给出了该逆时反演问题对应的离散反演方程组形式,借助于Tikhonov正则化方法和正则化参数选取的广义交叉验证准则,设计出了该逆时反演问题的直接反演算法,最后通过数值算例说明所设计的直接反演算法是有效的.