高维数据下群组变量选择的惩罚方法综述

变量选择是统计建模的重要环节,选择合适的变量可以建立结构简单、含义明确、预测精准的稳健模型。在实际应用中,有些变量具有群组结构,本文概括了三类群组变量选择惩罚方法,包括处理高度相关变量、仅选择组变量、即选择组又选择单个变量的方法,着重比较了它们的统计性质和优缺点,总结了相关算法和调整参数选择的方法。最后文章归纳了相关应用情况,并讨论了最新发展方向和所面临的挑战。     

高维数据变量选择方法综述

变量选择是统计学知识结构中不可或缺的一部分。本文归纳梳理了近二十年多来的变量选择方法,着重介绍了处理高维数据以及超高维数据的变量选择方法。最后我们通过一个实例比较了不同变量选择方法的差异性。     

两个多重相关变量组的统计分析(3)(偏最小二乘回归与PLS过程)

本文用PLS过程建立多因变量的偏最小二乘回归模型 ,并用具体例子对最小二乘回归(MLR)、主成分回归 (PCK)和偏最小二乘回归 (PLS)进行比较     

基于变量选择事件的新弹性网方法

从弹性网(Elastic net)方法所选择的模型出发,构造基于模型选择条件下的系数的精确分布,并通过分布进行推断从而得到检验系数显著性的p值及模型系数的置信区间等.通过方法可对传统弹性网方法所选模型做进一步调整,模拟研究说明了本文所提方法在变量选择中的适用性。如对噪声变量有较强的识别能力等.在实证分析中,使用基于变量选择事件的弹性网方法对我国劳动者工资收入的影响原因进行了筛选,分析表明在传统弹性网方法选取的解释变量中,宗教活动频率、工龄、身体健康程度以及个体身高不是影响劳动收入的最主要原因,可依据实际情况剔除这些变量,减少研究成本且提高分析效率,在实际应用中有一定的参考价值.     

惩罚的偏最小二乘

本文研究了二个推广的惩罚的偏小二乘模型,将惩罚估计的算法作用于偏最小二乘估计上,得到了参数的最终估计.将此模型运用到一个实际数据,在预测方面获得了较好的结果.     

偏最小二乘回归方法的局限性及改进算法

提出了偏最小二乘回归中的一类不适用情况,并从理论上分析,实例上验证,给出了针对这种情况的一种改进算法,从而拓宽了偏最小二乘回归的使用范围.     

纵向数据下线性EV模型的变量选择

本文考虑了纵向数据线性EV模型的变量选择.基于二次推断函数方法和压缩方法的思想提出了一种新的偏差校正的变量选择方法.在选择适当的调整参数下,我们证明了所得到的估计量的相合性和渐近正态性.最后通过模拟研究验证了所提出的变量选择方法的有限样本性质.     

双侧截断回归模型的变量选择

在回归分析中,当因变量存在双侧截断时,已有的统计方法会使得回归模型的系数估计与变量选择产生偏差.本文提出一种适用于双侧截断回归模型的系数估计与变量选择方法,且该方法允许回归模型中自变量的个数随着样本量增大并趋于无穷而趋于无穷.该方法的主要思想是,提出一种Mann-Whitney型的损失函数来进行纠偏,随后加入自适应最小绝对收缩和选择算子(least absolute shrinkage and selection operator, LASSO)惩罚项来进行变量选择.本文同时设计一种迭代算法来实现损失函数的优化;且证明了所提出估计量的相合性与渐近正态性,还给出所提出变量选择方法的神谕性(oracle property).本文通过随机模拟展示所提出方法在有限样本量下的表现,并使用所提出方法分析一个天文学领域的实际数据集.     

生长曲线模型的变量选择

生长曲线模型是一个典型的多元线性模型, 在现代统计学上占有重要地位. 文章首先基于Potthoff-Roy变换后的生长曲线模型, 采用自适应LASSO为惩罚函数给出了参数矩阵的惩罚最小二乘估计, 实现了变量的选择. 其次, 基于局部渐近二次估计, 对生长曲线模型的惩罚最小二乘估计给出了统一的近似估计表达式. 接着, 讨论了经过Potthoff-Roy变换后模型的惩罚最小二乘估计, 证明了自适应LASSO具有Oracle性质. 最后对几种变量选择方法进行了数据模拟. 结果表明自适应LASSO效果比较好. 另外, 综合考虑, Potthoff-Roy变换优于拉直变换.     

剔除相关性的最小二乘研究

本文提出了一种新的回归模型,剔除相关性的最小二乘,它有效的克服了变量间的相关性,兼顾到变量的筛选。并与最小二乘、向后删除变量法、偏最小二乘比较分析。发现剔除相关性的最小二乘能很好的处理自变量间多重相关性,对变量进行有效的筛选,克服了回归系数反常的现象。     

Sufficient Dimension Reduction and Variable Selection for Large-p-Small-n Data With Highly Correlated Predictors

Sufficient dimension reduction (SDR) is a paradigm for reducing the dimension of the predictors without losing regression information. Most SDR methods require inverting the covariance matrix of the predictors. This hinders their use in the analysis of contemporary datasets where the number of predictors exceeds the available sample size and the predictors are highly correlated. To this end, by incorporating the seeded SDR idea and the sequential dimension-reduction framework, we propose a SDR method for high-dimensional data with correlated predictors. The performance of the proposed method is studied via extensive simulations. To demonstrate its use, an application to microarray gene expression data where the response is the production rate of riboflavin (vitamin B₂) is presented.     

淘汰式变权TOPSIS法

传统的TOPSIS法不能直接用于常见的淘汰选优的实际决策.提出淘汰式变权TOPSIS法,通过逐步淘汰明显较劣方案,调整符合决策人偏好的权重,可以更好地反映实际决策行为.实例分析表明该法是简单实用的.     

含自由变量LP问题的改进单纯形法

对于含自由变量的LP问题,为了得到比单纯形法[1]更有效的算法,通过研究在单纯形法迭代过程中,将自由变量化为非负变量再实施运算的规律,提出一种能节省存贮空间和提高运算速度的改进单纯形法。数值实验表明新算法是有效的。     

带有变量选择过程的分类模型误差分析

偏倚一方差分析方法是在模型选择过程中权衡模型对现有样本解释程度和未知样本估计准确度的分析方法,目的是使选定的模型检验误差尽量小.在分类或回归过程中进行有效的变量筛选可以获得更准确的模型表达,但也会因此带来一定误差.提出"选择误差"的概念,用于刻画带有变量选择的分类问题中由于变量的某种选择方法所引起的误差.将分类问题的误差分解为偏倚—方差—选择误差进行研究,考察偏倚、方差和选择误差对分类问题的总误差所产生的影响.     

Variable Selection in Regression via Repeated Data Splitting

Abstract

A new algorithm—backward elimination via repeated data splitting (BERDS)—is proposed for variable selection in regression. Initially, the data are partitioned into two sets {E, V}, and an exhaustive backward elimination (BE) is performed in E. For each p value cutoff α used in BE, the corresponding fitted model from E is validated in V by computing the sum of squared deviations of observed from predicted values. This is repeated m times, and the α minimizing the sum of the m sums of squares is used as the cutoff in a final BE on the entire data set. BERDS is a modification of the algorithm BECV proposed by Thall, Simon, and Grier (1992). An extensive simulation study shows that, compared to BECV, BERDS has a smaller model error and higher probabilities of excluding noise variables, of selecting each of several uncorrelated true predictors, and of selecting exactly one of two or three highly correlated true predictors. BERDS is also superior to standard BE with cutoffs .05 or .10, and this superiority increases with the number of noise variables in the data and the degree of correlation among true predictors. An application is provided for illustration.     

截尾样本下回归函数改良核估计的强相合性

设(Xi,Yi),i=1,,n是从取值于\Rd×R1的随机向量(X,Y)中抽取的i.i.d.样本,E(|Y|)<∞,而以m(x)=E(Y|X=x)表示回归函数。在截尾情况下,观察到的不是诸Yi本身,而是Zi=min(Yi,Ti)及δi=I(YiTi),其中Ti是与(Xi,Yi)独立的随机变量,i=1,2,…,n.当T的分布未知时,在一定条件下,得到了回归函数改良估计的强合性.     

删失数据下变系数部分线性模型的经验似然变量选择

In this paper, we consider the variable selection for the parametric components of varying coefficient partially linear models with censored data. By constructing a penalized auxiliary vector ingeniously, we propose an empirical likelihood based variable selection procedure, and show that it is consistent and satisfies the sparsity. The simulation studies show that the proposed variable selection method is workable.