基于空间填充准则的交叉验证方法及其应用

在统计学与机器学习中,交叉验证被广泛应用于评估模型的好坏.但交叉验证法的表现一般不稳定,因此评估时通常需要进行多次交叉验证并通过求均值以提高交叉验证算法的稳定性.文章提出了一种基于空间填充准则改进的k折交叉验证方法,它的思想是每一次划分的训练集和测试集均具有较好的均匀性.模拟结果表明,文章所提方法在五种分类模型(k近邻,决策树,随机森林,支持向量机和Adaboost)上对预测精度的估计均比普通k折交叉验证的高.将所提方法应用于骨质疏松实际数据分析中,根据对预测精度的估计选择了最优的模型进行骨质疏松患者的分类预测.     

高维纵向数据的模型平均估计

高维数据的模型选择是当今统计学研究的一个热点问题,但关于高维纵向数据方面的模型平均却少见研究,文章提出了一种利用删组交叉验证准则对高维纵向数据进行模型平均估计的方法,在最小化预测残差意义下,以删组交叉验证为准则,证明了其渐近最优性,并通过模拟研究表明,该模型平均方法在估计效果上要优于其它一些传统的模型选择和平均方法.     

面板数据分位回归中适应性LASSO调节参数的选择

在带有罚函数的变量选择中,调节参数的选择是一个关键性问题,但遗憾的是,在大多数文献中,调节参数选择的方法较为模糊,多凭经验,缺乏系统的理论方法.本文基于含随机效应的面板数据模型,提出分位回归中适应性LASSO调节参数的选择标准惩罚交叉验证准则(PCV),并讨论比较了该准则与其他选择调节参数的准则的效果.通过对不同分位点进行模拟,我们发现当残差E来自尖峰分布和厚尾分布时,该准则能更好地估计模型参数,尤其对于高分位点和低分位点而言.选取其他分位点时,PCV的效果虽稍逊色于Schwarz信息准则,但明显优于A1kaike 信息准则和交叉验证准则.且在选择变量的准确性方面,该准则比Schwarz信息准则、Akaike信息准则等更加有效.文章最后对我国各地区多个宏观经济指标的面板数据进行建模分析,展示了惩罚交叉验证准则的性能,得到了在不同分位点处宏观经济指标之间的回归关系.     

岭回归中基于广义交叉核实法的最优模型平均估计

岭回归是一种常用的用于克服多重共线性的压缩估计方法.文章在存在异方差的背景下,考察了组合不同岭参数下岭估计量的模型平均方法,并在广义交叉核实法的框架下构造了相应的权重选择准则.当拟合模型的设定存在偏误时,证明了基于广义交叉核实法的模型平均法可以给出渐近最优的预测.此外,使用蒙特卡洛模拟考察了所提出的模型平均方法在有限样本下的有效性.最终,使用所提出的方法对一组乙炔反应工艺的数据进行了分析,所得到的结论进一步表明,模型平均法在实际数据分析工作中具有较高应用价值.     

基于局部多项式展开的多元非参数模型贝叶斯带宽选择

在多元非参数模型中带宽和阶的选择对局部多项式估计量的表现十分重要。本文基于交叉验证准则提出一个自适应贝叶斯带宽选择方法。在给定的误差密度函数下,该方法可推导出对应的似然函数,并构造带宽参数的后验密度函数。随后,通过带宽的后验期望可同时获得阶和带宽的估计。数值模拟的结果表明,该方法不仅比大拇指准则方法精确,且比交叉验证方法耗时更少。与此同时,与Nadaraya-Watson估计相比,所提带宽选择方法对多元非参数模型的适应性要更好。最后,本文通过一组实际数据说明有限样本下所提贝叶斯带宽选择的表现很好。     

对部分线性模型用惩罚最小二乘估计时最优光滑化的注记

部分线性模型也就是响应变量关于一个或者多个协变量是线性的, 但对于其他的协变量是非线性的关系\bd 对于部分线性模型中的参数和非参数部分的估计方法, 惩罚最小二乘估计是重要的估计方法之一\bd 对于这种估计方法, 广义交叉验证法提供了一种确定光滑参数的方法\bd 但是, 在部分线性模型中, 用广义交叉验证法确定光滑参数的最优性还没有被证明\bd 本文证明了利用惩罚最小二乘估计对于部分线性模型估计时, 用广义交叉验证法选择光滑参数的最优性\bd 通过模拟验证了本文中所提出的用广义交叉验证法选择光滑参数具有很好的效果, 同时, 本文在模拟部分比较了广义交叉验证和最小二乘交叉验证的优劣.     

基于Kolmogorov-Smirnov(KS)统计量的信用评分模型选择方法

信用评分系统在商业,金融,工程和健康等许多领域具有重要意义。Kolmogorov-S mirnov(KS)统计量是一种常用的评估信用评分模型的指标,Directly Maximizes the KolmogorovSmirnov (DMKS)是一种首次将KS统计量作为目标函数进行优化的信用评分方法。本文提出了一种基于DMKS信用评分方法以及交叉验证的模型选择方法,用于选择具有合适特征的信用评分模型,并且证明了该模型选择方法在理论上具有渐近最优性。本文使用Iterative Marginal Optimization (IMO)算法加速了模型选择准则的计算,使得本文所提模型选择方法可以适用于样本量较大的情形;同时利用前向变量选择方法的思想进一步地减少了本文所提模型选择方法的计算,从而加快了选取具有合适特征的信用评分模型的速度。模拟数据和实际数据分析表明了所提模型选择方法的有效性。     

信息复杂性准则的深入探讨

介绍联系拟合优度与模型复杂性测度的一种模型选择准则一信息复杂性(ICOMP)准则的基本原理.由Bozdogan提出的信息复杂性(ICOMP)准则可以视为两个Kullback-Leibler距离之和的一种近似.首先研究了所考虑模型中有真实模型的情况下,ICOMP准则类的渐近相容性;然后又介绍并完成了所考虑模型中没有真实模型的情况下,ICOMP准则类的渐近相容性.在有限样本容量的情况下,用ICOMP准则选择的估计模型,比用其他通用的准则选择的估计模型,更接近于真实模型.     

加速失效时间模型下现状数据的Jackknife模型平均

文章研究了响应变量为现状数据的情况下,加速失效时间模型的Jackknife模型平均方法.首先对数据进行合理的无偏变换,进而得到回归参数的最小二乘估计.然后引入删一交叉验证准则来选取候选模型的权重,并在一定正则性条件下,建立对应模型平均估计量的渐近最优性.此外,数值模拟表明,与现有的其他模型平均和模型选择方法相比,本文所提出的方法在预测上表现更佳.最后将所提方法应用于尼日利亚儿童死亡率的数据进行实证研究,进一步验证了所提方法的优良性质.     

再论线性模型自变元选择的BIC方法相容性条件

在许多情况下，对线性回归模型我们感兴趣于选择足够多的重要预测变量，本文指出了１中对著名的ＢＩＣ准则变量选择方法强相合性证明的错误，并重新给出了一组强相全性条件。在这组条件下，我们也证明了ＢＩＣ选择方法是强相合的，这组新的条件既容易验证又应用广泛。