测量误差模型的自适应LASSO变量选择方法研究

本文研究测量误差模型的自适应LASSO(least absolute shrinkage and selection operator)变量选择和系数估计问题.首先分别给出协变量有测量误差时的线性模型和部分线性模型自适应LASSO参数估计量,在一些正则条件下研究估计量的渐近性质,并且证明选择合适的调整参数,自适应LASSO参数估计量具有oracle性质.其次讨论估计的实现算法及惩罚参数和光滑参数的选择问题.最后通过模拟和一个实际数据分析研究了自适应LASSO变量选择方法的表现,结果表明,变量选择和参数估计效果良好.     

动态变系数回归模型的识别与非参数GMM估计

主要研究关于面板数据的有限阶固定效应的动态变系数回归模型(简称FDVCM)的统计推断问题.基于B-样条函数和广义矩估计(简称GMM)方法,首先建立了未知系数函数的非参数GMM估计,并证明大样本情形下该估计达到最优非参数收敛速度且具有渐近正态性质.然而实际问题中模型的动态阶数完全未知,也可能存在其它冗余的回归变量,文中借助文[Fan J,Li R.Variable selection via penalized likelihood and its oracle properties.Journal of the American Statistical Association,2001,96(456):1348-1360]中的smoothly clipped absolute deviation(简称SCAD)惩罚函数同时识别真实的动态阶数和显著的外生回归变量.同时建立了压缩估计的Oracle性质,即所识别的模型与真实模型中的参数估计具有相同的渐近分布.最后,无论是数值试验还是实例数据分析都验证了本文方法的合理性和可行性.     

广义线性模型组LASSO路径算法

广义线性模型组LASSO(least absolute shrinkage and selection operator)路径β(λ)的计算有两项核心内容:选择路径参数λ的取值;计算组LASSO估计,即给定λ值的β(λ).目前,在广义线性模型组LASSO路径的计算中,使用格点法选择λ值,基于广义线性模型似然函数一阶Taylor近似的坐标下降算法则常用于计算组LASSO估计.本文给出的广义线性模型组LASSO路径算法由两个子算法组成:第一个子算法的目的是选出使得活跃集恰好改变的λ值;第二个子算法是计算组LASSO估计的二阶近似坐标下降算法.模拟和实际数据分析均表明,第一个子算法能高效地发现使得活跃集恰好改变的λ值,相比基于广义线性模型似然函数一阶Taylor近似的坐标下降算法,本文的二阶近似算法有较明显的速度优势.     

面板数据下带固定效应的线性回归模型的稳健变量选择

本文结合复合分位数回归和自适应LASSO惩罚方法为固定效应面板数据模型提供了一种稳健变量选择过程。先通过正向正交偏差变换消除固定效应,再利用自适应LASSO构造惩罚复合分位数回归目标函数,进而同时进行回归系数的估计和变量选择。在一些正则条件下,证明了所提出的估计具有Orcale性质。该方法不仅消除了固定效应对估计的影响,而且具有稳健性。模拟研究了所提出方法的有限样本性质并将其应用于实际数据分析。     

生长曲线模型的变量选择

生长曲线模型是一个典型的多元线性模型, 在现代统计学上占有重要地位. 文章首先基于Potthoff-Roy变换后的生长曲线模型, 采用自适应LASSO为惩罚函数给出了参数矩阵的惩罚最小二乘估计, 实现了变量的选择. 其次, 基于局部渐近二次估计, 对生长曲线模型的惩罚最小二乘估计给出了统一的近似估计表达式. 接着, 讨论了经过Potthoff-Roy变换后模型的惩罚最小二乘估计, 证明了自适应LASSO具有Oracle性质. 最后对几种变量选择方法进行了数据模拟. 结果表明自适应LASSO效果比较好. 另外, 综合考虑, Potthoff-Roy变换优于拉直变换.     

L_1和L_2分位数趋势滤波及其集成方法

本文针对L_1和L_2规则化趋势滤波的不足之处,从损失函数和罚函数两个方面对其进行改进。一方面引入分位数损失函数,将其推广为L_1和L_2分位数趋势滤波,另一方面引入Berhu罚函数,得到L_1和L_2分位数趋势滤波的集成方法。数值算例显示,L_1和L_2分位数趋势滤波可以很好地估计出不同分位数上的趋势,两者分别适用于分段线性趋势和光滑趋势的提取,当内在趋势未知的情况下,集成方法是一个很好的折中,另外τ=0.5时为L_1和L_2规则化趋势滤波提供了一种稳健估计。     

基于迭代光滑L_(1/2)算法的变量选择

变量选择是统计学中重要的问题之一,而利用正则化方法来进行变量选择是近年来研究的热点.采用一种迭代光滑L_(1/2)算法,通过增加参数稀疏化阈值条件,使其中绝对值较小的回归参数稀疏为0,从而实现变量选择的功能.将该算法与Lasso(least absolute shrinkage and selection operator),自适应Lasso以及L_(1/2)正则化方法进行比较,数值模拟结果表明该算法同样具有良好的变量选择和预测能力,最后将该算法应用到实际的前列腺数据分析.     

关于李普希兹规划的L_1-精确罚函数

文[1]讨论了只有不等式约束问题的L_(1-)精确罚函数,给出了原问题的局部极小和L_(1-)精确罚函数局部极小之间的关系。其中有关的函数皆为局部李普希兹函数。本文讨论既有不等式约束又有等式约束问题的L_(1-)精确罚函数,得到与[1]的类似结论。     

函数型部分线性乘积模型的B-样条估计

本文研究了函数型部分线性乘积模型,该模型可用于响应变量为正数的函数型数据的统计建模问题,经过对数变换后模型转化为函数型部分线性模型.基于B-样条,通过极小化最小一乘相对误差(LARE)和最小乘积相对误差(LPRE),分别给出模型的LARE估计和LPRE估计,其中B-样条基的维数利用Schwarz信息准则选取.对两种估计方法分别给出斜率函数估计的相合性和参数部分估计的渐近正态性,并且证明了斜率函数的收敛率达到了非参数函数估计的最优速率.蒙特卡洛模拟用来比较所提出的方法与最小一乘(LAD)估计和最小二乘(LS)估计在不同误差分布下的有限样本性质,模拟结果表明所提方法是有效和实用的.最后通过一个实际数据分析的例子来说明模型的应用.     

贝叶斯LASSO正则加权复合分位回归及其应用（英文）

回归模型一般采取传统的最小二乘估计(LSE)方法,然而当数据包含非正态特征或异常值时该估计方法会导致不稳健的参数估计.与LSE方法相比,即使出现非正态误差或异常数据,复合分位回归(CQR)方法也能提供更稳健的估计结果.基于复合反对称拉普拉斯分布(CALD),本文提出了贝叶斯框架下的加权复合分量回归(WCQR)方法.正则化方法已经被验证可以有效处理高维稀疏回归模型,它可以同时进行变量选择和参数估计.本文结合贝叶斯LASSO正则化方法和WCQR方法来拟合线性回归模型,建立了 WCQR的贝叶斯LASSO正则化分层模型,并导出了所有参数的条件后验分布以进行统计推断.最后,通过蒙特卡罗模拟和实际数据分析演示了所提出方法.     

内生性协变量下广义变系数模型的工具变量估计

在模型的部分协变量为内生性协变量的情况下,考虑广义变系数模型的一类估计问题.通过结合基函数逼近和一些辅助变量信息,提出了一个基于工具变量的估计过程.并得到了估计的相合性和收敛速度等渐近性质.所提出的估计方法可以有效地消除协变量的内生性对估计精度的影响,并且具有较好的有限样本性质.     

生长曲线模型的惩罚最小二乘估计

主要考虑了生长曲线模型中的参数矩阵的估计.首先基于Potthoff-Roy变换后的生长曲线模型,采用不同的惩罚函数:Hard Thresholding函数,LASSO,ENET,改进LASSO,SACD给出了参数矩阵的惩罚最小二乘估计.接着对不做变换的生长曲线模型,直接定义其惩罚最小二乘估计,基于Nelder-Mead法给出了估计的数值解算法.最后对提出的参数估计方法进行了数据模拟.结果表明自适应LASSO在估计方面效果比较好.     

单调缺失机制下高维纵向线性回归模型的变量选择

在响应变量带有单调缺失的情形下考虑高维纵向线性回归模型的变量选择.主要基于逆概率加权广义估计方程提出了一种自动的变量选择方法,该方法不使用现有的惩罚函数,不涉及惩罚函数非凸最优化的问题,并且可以自动地剔除零回归系数,同时得到非零回归系数的估计.在一定正则条件下,证明了该变量选择方法具有Oracle性质.最后,通过模拟研究验证了所提出方法的有限样本性质.     

ɾʧ�ع�ģ����һ��LASSO�ͱ���ѡ��͹��Ʒ���

删失回归模型是一种很重要的模型,它在计量经济学中有着广泛的应用. 然而,它的变量选择问题在现今的参考文献中研究的比较少.本文提出了一个LASSO型变量选择和估计方法,称之为多样化惩罚$L_1$限制方法, 简称为DPLC. 另外,我们给出了非0回归系数估计的大样本渐近性质. 最后,大量的模拟研究表明了DPLC方法和一般的最优子集选择方法在变量选择和估计方面有着相同的能力.     

逻辑回归模型的Smooth LASSO及Spline LASSO变量选择

对于逻辑回归模型中的参数估计和变量选择问题,提出了Smooth LASSO以及Spline LASSO.当变量具有连续性,使用Smooth LASSO,可以获得局部恒定的系数.但是在有些情况下,系数可能不同并且缓慢变化,可以使用Spline LASSO来估计参数.本文通过理论证明模型的可靠性,利用坐标下降法对模型进行求解,最后通过模拟验证了模型在变量选择中的准确性以及较好的预测性.     

基于copula函数的纵向数据复合分位数回归及变量选择

复合分位数回归(composite quantile regression)具有稳健性好和估计效率高的优势,所以其经常被用来替代均值回归.众所周知,纵向数据具有组内相关的特点,如果估计过程中能正确地利用组内相关性,则可以显著地提高估计效率.因此,探讨纵向数据复合分位数回归中如何使用相关性是一个有意义的问题.本文首先利用copula函数方法构建纵向数据复合分位数回归的组内协方差矩阵,进而基于构建的协方差矩阵,提出一个无偏且有效的基于copula函数的复合分位数回归估计方程;进一步,为了进行变量选择,利用基于copula函数的估计方程,提出一个光滑门限(smooth-threshold)的复合分位数回归估计方程方法.本文提出的方法具有很高的灵活性,而且提高了估计的效率.理论结果以及数值模拟和实际数据分析都验证了本文的方法.     

Group LASSO for Change-points in Functional Time Series

Multiple change-points estimation for functional time series is studied in this paper. The change-point problem is first transformed into a high-dimensional sparse estimation problem via basis functions. Group least absolute shrinkage and selection operator(LASSO) is then applied to estimate the number and the locations of possible change points. However, the group LASSO(GLASSO)always overestimate the true points. To circumvent this problem, a further Information Criterion(IC) is applied to elim...     

带环境效应的基因组选择方法研究

本文主要研究带环境效应的基因组选择问题,通过把环境效应处理成固定效应,而标记效应处理成随机效应,建立混合线性模型,并首先采用极大似然法给出环境效应和模型方差的估计,然后利用基于改进的单变量惩罚解的坐标下降算法求解基于残差的惩罚目标函数,实现标记效应的变量选择.模拟结果表明,本文所提的两步估计法在带环境效应的基因组选择中快速高效,且MCP惩罚函数表现最好,SCAD次之,而LASSO和EN表现最差.     

中位数回归的贝叶斯变量选择方法

当数据呈现厚尾特征或含有异常值时,基于惩罚最小二乘或似然函数的传统变量选择方法往往表现不佳.本文基于中位数回归和贝叶斯推断方法,研究线性模型的贝叶斯变量选择问题.通过选取回归系数的Spike and Slab先验,利用贝叶斯模型选择理论提出了中位数回归的贝叶斯估计方法,并提出了有效的后验Gibbs抽样程序.大量数值模拟和波士顿房价数据分析充分说明了所提方法的有效性.     

稳健的惩罚经验似然方法及压缩估计

本文基于原有的经验似然函数,在经验似然的约束条件中的估计方程上加入Huber函数和权重函数,将经验似然方法和稳健估计方程相结合,再在目标函数中加上SCAD惩罚函数,提出一种稳健的变量选择和惩罚估计方法.通过数值模拟与最小二乘估计和普通的惩罚经验似然估计在变量选择和参数估计方面进行比较,显示本文所提出的基于惩罚稳健经验似然的压缩估计具有明显优势.