回归系数的岭型主相关估计及其优良性

本文研究了线性模型中的一种有偏估计,利用均方误差和残差平方和,得到了岭型主相关估计的一些性质,是对[1]中相关结果的推广.     

岭回归中基于广义交叉核实法的最优模型平均估计

岭回归是一种常用的用于克服多重共线性的压缩估计方法.文章在存在异方差的背景下,考察了组合不同岭参数下岭估计量的模型平均方法,并在广义交叉核实法的框架下构造了相应的权重选择准则.当拟合模型的设定存在偏误时,证明了基于广义交叉核实法的模型平均法可以给出渐近最优的预测.此外,使用蒙特卡洛模拟考察了所提出的模型平均方法在有限样本下的有效性.最终,使用所提出的方法对一组乙炔反应工艺的数据进行了分析,所得到的结论进一步表明,模型平均法在实际数据分析工作中具有较高应用价值.     

方差分量模型参数的广义岭估计

本文先将方差分量模型的方差分量化为派生模型的均值参数，分别作出其相对于ＬＳＥ和ＢＬＵＥ的广义岭估计，再根据二步估计法作出原模型均值参数的广义二乘估计及其进行一步的岭估计。证明了这样不仅使方差分量估计的均方误差减少，而且使原模型均值参数估计的均方误差也不均加和地一步减少。本文还找到了岭参数仅仅依据于样本的估计，这样既将岭估计方法推进至方差分量模型，也改进了方差分量模型参数的离差均值对应方法。     

基于岭估计的岭马田系统在复共线性数据中的应用

在多变量模式识别领域,变量间经常会存在复共线性,复共线性不仅会影响参数估计的效果,也会使变量的敏感性出现显著异常.马田系统是以马氏距离作为测量尺度的多变量模式识别方法,复共线性会通过马氏距离影响马田系统变量筛选的效果和判别的准确率.基于岭估计提出了一种新的测量尺度—岭马氏距离,利用岭迹法确定岭参数,将其引入马田系统使得马田系统对病态数据具有更好的耐受性.通过案例验证了岭马氏距离可以很好的克服复共线性,并提高马田系统的判别准确率.     

回归系数的综合岭估计

本文提出了回归系数的一种新的有偏估计－－综合岭估计，讨论了综合岭估计的优良性，可容许怀等性质，给出了其迭代和极小均方程误差的无偏估计解，在综合估计下，岭估计和根方估计作为其特例，从而统一了岭估计和根方估计理论。     

岭型组合主成分估计

本文提出了回归系数的一种新的改进估计－岭型组合主成分估计，讨论了它的可容许性，约束条件下的可容许性和相合性问题，分别在均方误差意义下和Ｐｉｔｍａｎ接近原则下，证明了在一定条件下，它优于最二乘估计和岭估计，并且证明了它有比它们更好的抗干扰能力和稳健性。     

聚集数据线性模型参数的改进广义岭估计的相对效率

对于聚集数据的线性模型,给出了参数的改进广义岭估计,并提出了改进广义岭估计的两种相对效率,得到了这两种相对效率的上界.     

聚集数据线性模型参数的聚集改进综合岭估计的相对效率

对于聚集数据的线性模型,提出了参数的聚集改进综合岭估计的概念,并给出了聚集改进综合岭估计相对于最小二乘估计的两种相对效率,得到了这两种相对效率的上界.     

混合系数线性模型的几乎无偏岭估计

本文研究了连续测量数据情况下的混合系数线性模型的参数估计问题.利用岭估计方法得到了该模型的几乎无偏岭估计,并证明了在均方误差意义下,几乎无偏岭估计优于岭估计.最后讨论了有偏参数的选取问题.     

非主成份与广义岭型估计

针对线性回归模型Y=Xp e,e～(0,σ2I)在设计矩阵X呈病态(存在复共线性关系)时,从主成分估计的思想出发,结合岭估计减少均方误差的方法,提出并推导了一类新的估计β(k)=(X'X Φx2kΦ'2)-1X'Y,称之为广义岭型估计.优点是只对主成分和非主成分添加两个不同的常数,均方误差大幅度降低的同时,相对于一般的广义岭估计,计算量减少,相对于主成分估计,便于对原变量做出解释.文中进一步讨论了该估计与主成分估计和岭估计的优劣.     

Ridge Fusion in Statistical Learning

This article proposes a penalized likelihood method to jointly estimate multiple precision matrices for use in quadratic discriminant analysis (QDA) and model-based clustering. We use a ridge penalty and a ridge fusion penalty to introduce shrinkage and promote similarity between precision matrix estimates. We use blockwise coordinate descent for optimization, and validation likelihood is used for tuning parameter selection. Our method is applied in QDA and semi-supervised model-based clustering.     

多元广义岭估计及K值选取的 Q(c)准则

当自变量间存在复共线性时,最小二乘估计就表现出不稳定并可能导致错误的结果.本文采用广义岭估计β(K)来估计多元线性模型的回归系数β=vec(B),通过岭参数K值的选取,可使广义岭估计的均方误差MSE小于最小二乘估计的MSE.指出了广义岭估计中根据MSE准则选取K值存在的主要缺陷,采用了一种选取K值的新准则Q(c),它包含MSE准则和最小二乘LS准则作为特例,从理论上证明和讨论了Q(c)准则的优良性,阐明了c值的统计含义,并给出了确定c值的方法.     

广义岭型主相关估计的方差最优性

本文在回归系数的岭型主相关估计的基础上,提出了广义岭型主相关估计,进一步研究其在降维估计类中方差最优性。     

��ع���Ƶ�������������

In this paper, a vector parameter method for ridge regression is proposed. We choose the negative gradient of mean square error as vector direction and decide vector norm with the expectation constrains both of mean square error and of residual error. We come to conclusions that the mean square error is a decreasing function of vector norm while the residual error a increasing one. It is the monotonicity of the errors that leads to our expectation constrains. Since two conflict constrains are under consideration, our vector parameter ridge regression is expected to bear both satisfactory mean square error and acceptable residual error. Finally, a multi-collinearity model is given as an example.     

岭回归分析的SAS程序设计

田俊．岭回归分析的ＳＡＳ程序设计．岭回归分析方法是传统的多元回归分析方法的一个补充,在实际工作中经常使用。但是在标准统计软件ＳＡＳ中没有专门的岭回归分析过程,本文介绍如何通过设置伪样品后使用ＳＡＳ进行岭回归分析     

Generalized ridge regression,least squares with stochastic prior information,and Bayesian estimators

The ridge estimator of the usual linear model is generalized by the introduction of an a priori vector r and an associated positive semidefinite matrix S. It is then shown that the generalized ridge estimator can be justified in two ways: (a) by the minimization of the residual sum of squares subject to a constraint on the length, in the metric S, of the vector of differences between r and the estimated linear model coefficients, (b) by incorporating prior knowledge, r playing the role of the vector of means and S proportional to the precision matrix. Both a Bayesian and an Aitken generalized least squares frameworks are used for the latter. The properties of the new estimator are derived and compared to the ordinary least squares estimator. The new method is illustrated with different assumptions on the form of the S matrix.     

部分线性模型基于参数信息的统计推断

针对部分线性模型提出了一种新的估计方法-Profile局部最小二乘估计,方法结合了非参数部分的参数信息.另外对于部分线性模型中非参数部分是否为某一参数函数的检验问题,基于比较原假设与备择假设下模型拟合的残差平方和的思想构造了检验统计量,并给出了计算检验p-值的精确方法和三阶矩χ2逼近方法.     

回归系数的广义岭型主相关估计及其优良性

In this paper, we propose a new biased estimator of the regression parameters, the generalized ridge and principal correlation estimator. We present its some properties and prove that it is superior to LSE （least squares estimator）, principal correlation estimator, ridge and principal correlation estimator under MSE （mean squares error） and PMC （Pitman closeness） criterion, respectively.     

因子平方和的正交对照分解及其应用

本文把a水平因子的平方和分解成相互正交的a-1个对照的平方和,这样总变差平方和就可以分解成a个部分(包括残差项),然后又将该分解方法推广到了多因子的情形,并通过因子平方和的分解找到了多因子交互效应对应的对照向量,这使得多水平因子交互效应的计算和解释更加容易,也为方差分析带来了更多的方便,最后给出了几个应用示例。