测量误差模型的自适应LASSO变量选择方法研究

本文研究测量误差模型的自适应LASSO(least absolute shrinkage and selection operator)变量选择和系数估计问题.首先分别给出协变量有测量误差时的线性模型和部分线性模型自适应LASSO参数估计量,在一些正则条件下研究估计量的渐近性质,并且证明选择合适的调整参数,自适应LASSO参数估计量具有oracle性质.其次讨论估计的实现算法及惩罚参数和光滑参数的选择问题.最后通过模拟和一个实际数据分析研究了自适应LASSO变量选择方法的表现,结果表明,变量选择和参数估计效果良好.     

高维混料模型的LASSO变量选择

变量选择是统计建模中重要的问题。当试验数据维数很高时,传统变量选择方法的应用受到了很多制约。本文以高维混料试验为基础,比较了AIC准则和LASSO在变量选择问题上的优良性。通过实例验证,LASSO可以快速且准确地对高维混料模型中的变量进行筛选,从而得出最优模型,达到降低成本、提高利益的目的。     

ɾʧ�ع�ģ����һ��LASSO�ͱ���ѡ��͹��Ʒ���

删失回归模型是一种很重要的模型,它在计量经济学中有着广泛的应用. 然而,它的变量选择问题在现今的参考文献中研究的比较少.本文提出了一个LASSO型变量选择和估计方法,称之为多样化惩罚$L_1$限制方法, 简称为DPLC. 另外,我们给出了非0回归系数估计的大样本渐近性质. 最后,大量的模拟研究表明了DPLC方法和一般的最优子集选择方法在变量选择和估计方面有着相同的能力.     

二元选择分位回归的自适应LASSO改进

为避免模型出现过拟合,将自适应LASSO变量选择方法引入二元选择分位回归模型,利用贝叶斯方法构建Gibbs抽样算法并在抽样中设置不影响预测结果的约束条件‖β‖=1以提高抽样值的稳定性.通过数值模拟,表明改进的模型有更为良好的参数估计效率、变量选择功能和分类能力.     

广义线性模型组LASSO路径算法

广义线性模型组LASSO(least absolute shrinkage and selection operator)路径β(λ)的计算有两项核心内容:选择路径参数λ的取值;计算组LASSO估计,即给定λ值的β(λ).目前,在广义线性模型组LASSO路径的计算中,使用格点法选择λ值,基于广义线性模型似然函数一阶Taylor近似的坐标下降算法则常用于计算组LASSO估计.本文给出的广义线性模型组LASSO路径算法由两个子算法组成:第一个子算法的目的是选出使得活跃集恰好改变的λ值;第二个子算法是计算组LASSO估计的二阶近似坐标下降算法.模拟和实际数据分析均表明,第一个子算法能高效地发现使得活跃集恰好改变的λ值,相比基于广义线性模型似然函数一阶Taylor近似的坐标下降算法,本文的二阶近似算法有较明显的速度优势.     

金融市场下非负稀疏组LASSO在股指跟踪中的研究（英文）

作为一种流行的被动投资组合管理策略,指数跟踪主要侧重于复制或跟踪金融指数的表现.以股指为例,传统的投资策略通常考虑指数所有成分股的完全复制.然而,随着指数成分股数量的增加,完全复制通常会受到流动性差以及成本高的影响.因此,投资者倾向于购买部分成分股进行资产配置.此外,在股票市场中,股票之间还存在明显的"组群"效应.基于此,本文提出了非负稀疏组LASSO方法,用于成分股的选择和权重系数的估计.在有限维组的情况下,我们给出了模型变量选择和参数估计一致性的几乎充要的条件.为了得到模型的解,我们推导出一种基于坐标下降的计算方法.最后,实证结果表明,非负稀疏组LASSO优于具有"组效应"的其他目前的流行方法,例如非负弹性网.     

贝叶斯LASSO正则加权复合分位回归及其应用（英文）

回归模型一般采取传统的最小二乘估计(LSE)方法,然而当数据包含非正态特征或异常值时该估计方法会导致不稳健的参数估计.与LSE方法相比,即使出现非正态误差或异常数据,复合分位回归(CQR)方法也能提供更稳健的估计结果.基于复合反对称拉普拉斯分布(CALD),本文提出了贝叶斯框架下的加权复合分量回归(WCQR)方法.正则化方法已经被验证可以有效处理高维稀疏回归模型,它可以同时进行变量选择和参数估计.本文结合贝叶斯LASSO正则化方法和WCQR方法来拟合线性回归模型,建立了 WCQR的贝叶斯LASSO正则化分层模型,并导出了所有参数的条件后验分布以进行统计推断.最后,通过蒙特卡罗模拟和实际数据分析演示了所提出方法.     

删失回归模型中一个LASSO型变量选择和估计方法(英文)

删失回归模型是一种很重要的模型,它在计量经济学中有着广泛的应用.然而,它的变量选择问题在现今的参考文献中研究的比较少.本文提出了一个LASSO型变量选择和估计方法,称之为多样化惩罚L1限制方法,简称为DPLC.另外,我们给出了非0回归系数估计的大样本渐近性质.最后,大量的模拟研究表明了DPLC方法和一般的最优子集选择方法在变量选择和估计方面有着相同的能力.     

基于LPRE和LASSO方法的股指追踪研究

将最小化乘积相对误差(LPRE)和最小绝对压缩选择算子(LASSO)方法应用到乘积回归模型,结合BIC信息准则实现股票指数的追踪,成功选取了26支对上证50指数影响较大的成分股,并比较了所提方法与线性模型下LASSO方法的表现,验证了所提方法的有效性.     

基于LASSO复合分位数回归的钢材力学性能预测

钢材力学性能的提高对于提高钢材品质,充分适应市场需求有重要的意义.研究了热轧带钢的抗拉强度与各生产参数和工艺参数之间的关系,采用基于LASSO的复合分位数回归模型(Composite Quantile Regression,CQR),根据BIC准则选择合适的调整参数,选择出15个有重要影响的变量,建立基于这15个变量的预测模型.结果表明,将数据按70%和30%分成训练集和测试集,得到训练集的百分比误差(MAPE)和均方根误差(RMSE)分别为2.61%和23.42,测试集的百分比误差(MAPE)和均方根误差(RMSE)分别为2.58%和22.52.将本文所用的模型与两种不同的变量选择方法和三种不同的预测模型进行了对比,可得本文中所用的模型计算精度高,模型泛化能力强,为钢产品的设计和优化提供参考.     

基于变量选择事件的新弹性网方法

从弹性网(Elastic net)方法所选择的模型出发,构造基于模型选择条件下的系数的精确分布,并通过分布进行推断从而得到检验系数显著性的p值及模型系数的置信区间等.通过方法可对传统弹性网方法所选模型做进一步调整,模拟研究说明了本文所提方法在变量选择中的适用性。如对噪声变量有较强的识别能力等.在实证分析中,使用基于变量选择事件的弹性网方法对我国劳动者工资收入的影响原因进行了筛选,分析表明在传统弹性网方法选取的解释变量中,宗教活动频率、工龄、身体健康程度以及个体身高不是影响劳动收入的最主要原因,可依据实际情况剔除这些变量,减少研究成本且提高分析效率,在实际应用中有一定的参考价值.     

基于LASSO变量选择方法的网络广告点击率预测模型研究

与传统的的媒体营销模式相比,搜索引擎广告因其精准和投入低等特点获得巨大成功。但已有的搜索引擎广告点击率模型不能有效解决数据量大及特征维度高的问题,使预测结果的准确性大打折扣。本文构建了一种基于LASSO变量选择方法的广告点击率预测模型,能有效克服现有广告点击率模型在处理数据高维性和稀疏性方面的不足。利用某公司的竞价数据对模型进行验证,结果表明影响广告点击率的关键因素是广告关键词中的商标信息、地域信息和每点击成本。该研究结果为企业制定搜索引擎广告营销策略提供一定的理论依据。     

基于当前状态数据的加法风险模型的自适应LASSO回归选择

当真实的潜在模型具有稀疏表示时通常需要使用变量选择方法,确定模型中的重要预测因子可提高被拟合模型的预测性能,许多文献研究了这类问题,其中张和吕[1]针对右删失数据开发了一种基于比例风险模型的变量选择方法.本文研究了基于当前状态数据的加法风险模型的变量选择问题.在文献[1]的启发下,我们提出一种自适应Lasso方法来解决这个问题,并在弱正则性条件下,建立了估计量的相合性和oracle性质等理论结果.大量的模拟数据分析证明了该方法的有效性.我们用该方法分析了一组来自肿瘤研究的真实数据.     

面板数据分位回归中适应性LASSO调节参数的选择

在带有罚函数的变量选择中,调节参数的选择是一个关键性问题,但遗憾的是,在大多数文献中,调节参数选择的方法较为模糊,多凭经验,缺乏系统的理论方法.本文基于含随机效应的面板数据模型,提出分位回归中适应性LASSO调节参数的选择标准惩罚交叉验证准则(PCV),并讨论比较了该准则与其他选择调节参数的准则的效果.通过对不同分位点进行模拟,我们发现当残差E来自尖峰分布和厚尾分布时,该准则能更好地估计模型参数,尤其对于高分位点和低分位点而言.选取其他分位点时,PCV的效果虽稍逊色于Schwarz信息准则,但明显优于A1kaike 信息准则和交叉验证准则.且在选择变量的准确性方面,该准则比Schwarz信息准则、Akaike信息准则等更加有效.文章最后对我国各地区多个宏观经济指标的面板数据进行建模分析,展示了惩罚交叉验证准则的性能,得到了在不同分位点处宏观经济指标之间的回归关系.     

生长曲线模型的变量选择

生长曲线模型是一个典型的多元线性模型, 在现代统计学上占有重要地位. 文章首先基于Potthoff-Roy变换后的生长曲线模型, 采用自适应LASSO为惩罚函数给出了参数矩阵的惩罚最小二乘估计, 实现了变量的选择. 其次, 基于局部渐近二次估计, 对生长曲线模型的惩罚最小二乘估计给出了统一的近似估计表达式. 接着, 讨论了经过Potthoff-Roy变换后模型的惩罚最小二乘估计, 证明了自适应LASSO具有Oracle性质. 最后对几种变量选择方法进行了数据模拟. 结果表明自适应LASSO效果比较好. 另外, 综合考虑, Potthoff-Roy变换优于拉直变换.     

半参数变系数部分线性模型的统计推断

本文在多种复杂数据下, 研究一类半参数变系数部分线性模型的统计推断理论和方法. 首先在纵向数据和测量误差数据等复杂数据下, 研究半参数变系数部分线性模型的经验似然推断问题, 分别提出分组的和纠偏的经验似然方法. 该方法可以有效地处理纵向数据的组内相关性给构造经验似然比函数所带来的困难. 其次在测量误差数据和缺失数据等复杂数据下, 研究模型的变量选择问题, 分别提出一个“纠偏” 的和基于借补值的变量选择方法. 该变量选择方法可以同时选择参数分量及非参数分量中的重要变量, 并且变量选择与回归系数的估计同时进行. 通过选择适当的惩罚参数, 证明该变量选择方法可以相合地识别出真实模型, 并且所得的正则估计具有oracle 性质.     

应用多维项目反应理论模型探索分数减法测验的维度识别

多维项目反应理论(MIRT)模型是国际教育统计与心理测量学研究的热点模型.在简要介绍一种常见的MIRT模型和数理统计学热门的变量筛选方法的基础上,针对教育统计研究者常用的分数减法测验数据进行测验题目的维度识别.通过分别使用传统的因子分析法、LASSO方法和弹性网方法分析测验数据,获得了测验题目的维度识别结果,并对它们的识别准确率进行比较.研究表明使用变量筛选方法尤其是LASSO方法能够较好地识别该测验的题目维度间隶属关系,为多维测验的维度识别提供可靠的信息.     

基于LASSO的神经网络权值阈值优化方法

本文在LASSO方法和神经网络误差回传思想的基础上,建立LASSO-BP算法.与BP神经网络算法和RBF径向基网络算法比较,该算法具有耗时短,抗干扰能力强的优点以及更好的分类效果.最终我们通过数值实验对该算法进行了验证.     

基于变分算法的贝叶斯分层收缩模型及其应用

贝叶斯统计推断通常会遇到后验分布中出现高维积分这一公认的计算难题。一种常用的解决方法是使用MCMC算法。然而,MCMC算法在处理高维大数据或复杂模型时计算效率很低,并且难以判断算法收敛性。针对自适应贝叶斯收缩模型、贝叶斯LASSO模型和扩展的贝叶斯LASSO模型,本文提出了一种更高效的变分贝叶斯(VB)算法来进行参数估计和变量选择。该算法源于理论物理中的平均场理论。它将复杂积分问题转化为最优化问题,使用假定分布族中最接近目标后验分布的分布来近似求解,并且易于判断算法收敛情况。数值模拟结果显示,VB算法不仅计算速度明显优于MCMC算法,而且其模型拟合和变量选择效果也与MCMC算法相当,可以作为MCMC算法的一种替代方法。最后,本文运用VB算法分析了俄罗斯房产售价的重要影响因素。     

零膨胀泊松混合回归中的变量选择

来源于不同总体的数据异质性较大,数据“零取值”较多且离散度大,可利用零膨胀泊松(ZIP)混合回归模型建模分析,然而混合模型中自变量较多.为了筛选出重要变量,本文利用自适应LASSO对ZIP混合回归模型进行变量选择,即在似然函数中加入惩罚项,再利用EM算法估计参数.通过模拟,验证了该方法在变量选择和参数估计中的有效性.同时,将ZIP混合回归模型应用于预测借贷失败次数的实际数据分析,筛选出对借贷失败有重要影响的因素.最后,通过比较各模型的预测效果,得到ZIP混合回归模型优于泊松(Poisson),负二项(NB)和ZIP回归模型.