岭回归中确定K值方法的推广

给出了一种新的逐步改进岭参数 k的方法 .这种方法能够通过调整岭参数来进一步减少岭估计的均方误差 ,并改进了 Hoerl和 Kennard的结果 .     

岭参数又一确定方法的推广

对确定岭参数的方法进行了推广,给出了一种新的逐步改进岭参数κ的方法,这种方法能够通过调整岭参数来进一步减少岭估计的均方误差,并改进了Hoerl和Kennard的结果。     

多元广义岭估计及K值选取的 Q(c)准则

当自变量间存在复共线性时,最小二乘估计就表现出不稳定并可能导致错误的结果.本文采用广义岭估计β(K)来估计多元线性模型的回归系数β=vec(B),通过岭参数K值的选取,可使广义岭估计的均方误差MSE小于最小二乘估计的MSE.指出了广义岭估计中根据MSE准则选取K值存在的主要缺陷,采用了一种选取K值的新准则Q(c),它包含MSE准则和最小二乘LS准则作为特例,从理论上证明和讨论了Q(c)准则的优良性,阐明了c值的统计含义,并给出了确定c值的方法.     

岭估计优于最小二乘估计的条件

本文讨论在均方误差意义下岭估计优于最小二乘估计的问题，给出了岭估计优于小最小二乘估计的必要条件及较一般的充分条件。     

多元广义岭估计及K值选以的Q（c）准则

当自变量间存在复共线性时，最小二乘估计就表现出不稳定并可能导致错误的结果。本采用广义岭估计β（K）来估计多元线性模型的回归系数β=vec(B),通过岭参数K值的选取 ，可使广义岭估计的均方误差MSE小于最小二乘估计的MSE。指出了广义岭估计中根据MSE准则选取K值存在的主要缺陷，采用了一种选取K值的新准则Q（c），它包含MSE准则和最小二乘LS准则作为特例，从理论上证明和讨论了Q（c）准则的优良性，阐明了c值的统计 含义，并给出了确定c值的方法。     

一种使用奇异值分解的岭估计

本文使用矩阵奇异值分解的技术，得到了线性回归模型的设计阵的一个较好的逼近，在此基础上，给出了回归系数的一种使用奇异值分解的岭估计，能够减少由于设计阵的病态所引起的麻烦。     

混合系数线性模型的几乎无偏岭估计

本文研究了连续测量数据情况下的混合系数线性模型的参数估计问题.利用岭估计方法得到了该模型的几乎无偏岭估计,并证明了在均方误差意义下,几乎无偏岭估计优于岭估计.最后讨论了有偏参数的选取问题.     

关于无偏估计的若干问题

通过理论分析和实例讨论有关无偏估计的若干问题：无偏估计不一定存在;无偏估计一般不唯一;在均方误差意义下,无偏估计不一定优于有偏估计;均方误差最小的估计是最小方差无偏估计,但反之不然。     

线性模型回归系数的c-(K,S)型估计的小样本性质

根据线性回归模型Y=Xβ+,εE(ε)=0,COV(ε)=σ2,对回归系数的有偏估计c-(K,S)型估计进一步研究;讨论了c-(K,S)型估计的基本性质;并在均方误差阵(M SEM)准则下讨论了c-(K,S)型估计相对于最小二乘估计的优良性,有助于线性回归系数有偏估计的进一步改进.     

增长曲线模型回归系数的广义岭估计

本文采用广义岭估计β（Ｋ）来估计增长曲线模型中回归系数β＝ｖｅｃ（Ｂ），通过Ｋ值的选取，可使其均方误差（ＭＳＥ）小于ＬＳ估计β的ＭＳＥ。同时对ＬＳ估计的任一线性变换，给出了其均方误差的一个无偏估计，并应用极小化β（Ｋ）的ＭＳＥ的无偏估计的方法，得到了确定岭参数的公式。     

岭回归估计的向量参数方法

本文提出岭回归估计的向量参数方法,选择均方误差函数的负梯度方向作为参数向量方向,根据均方误差与拟合误差的预期约束条件选择确定参数向量模长.文中获得了两个单调性结论,向量参数岭回归估计的均方误差是参数向量模长的单调减函数,而拟合误差是参数向量模长的单调增函数.基于两类误差的单调性结论,本文创建了关于两类误差的预期约束条件,预期条件约束下的向量参数岭回归方法有望成为兼备均方误差次优与拟合误差适度的双赢估计.文章最后是一个应用实例.     

��ع���Ƶ�������������

In this paper, a vector parameter method for ridge regression is proposed. We choose the negative gradient of mean square error as vector direction and decide vector norm with the expectation constrains both of mean square error and of residual error. We come to conclusions that the mean square error is a decreasing function of vector norm while the residual error a increasing one. It is the monotonicity of the errors that leads to our expectation constrains. Since two conflict constrains are under consideration, our vector parameter ridge regression is expected to bear both satisfactory mean square error and acceptable residual error. Finally, a multi-collinearity model is given as an example.     

无偏的岭回归迭代算法

本文探讨线性模型的无偏的岭回归迭代算法,这种算法保持最小二乘法的性质,当存在较为严重的共线性时,它能给出较为精确的参数及其协差阵的估计值;当存在严格的共线性时,给出参数及其协差阵的无穷多解中的一个,这个解由初值决定。文章还给出了算法的收敛性及一些其它性质的证明。     

Variant of Greedy Randomized Gauss-Seidel Method for Ridge Regression

The variants of randomized Kaczmarz and randomized Gauss-Seidel algorithms are two effective stochastic iterative methods for solving ridge regression problems. For solving ordinary least squares regression problems, the greedy randomized Gauss-Seidel (GRGS) algorithm always performs better than the randomized Gauss-Seidel algorithm (RGS) when the system is overdetermined. In this paper, inspired by the greedy modification technique of the GRGS algorithm, we extend the variant of the randomized Gauss-Seidel algorithm, obtaining a variant of greedy randomized Gauss-Seidel (VGRGS) algorithm for solving ridge regression problems. In addition, we propose a relaxed VGRGS algorithm and the corresponding convergence theorem is established. Numerical experiments show that our algorithms outperform the VRK-type and the VRGS algorithms when $m > n$.     

用循环搜索法确定单个未线性化参数的初始值

在最小二乘意义下用 GNL法拟合常见的三参数隐函数曲线时 ,用循环搜索法确定了单个未线性化参数初始值 .并成功地以多个著名模型为例对此进行了验证 .     

部分线性模型的随机约束岭估计

研究了部分线性回归模型附加有随机约束条件时的估计问题.基于Profile最小二乘方法和混合估计方法提出了参数分量随机约束下的Profile混合估计,并研究了其性质.为了克服共线性问题,构造了参数分量的Profile混合岭估计,并给出了估计量的偏和方差.     

岭回归分析的SAS程序设计

田俊．岭回归分析的ＳＡＳ程序设计．岭回归分析方法是传统的多元回归分析方法的一个补充,在实际工作中经常使用。但是在标准统计软件ＳＡＳ中没有专门的岭回归分析过程,本文介绍如何通过设置伪样品后使用ＳＡＳ进行岭回归分析     

Random Design Analysis of Ridge Regression

This work gives a simultaneous analysis of both the ordinary least squares estimator and the ridge regression estimator in the random design setting under mild assumptions on the covariate/response distributions. In particular, the analysis provides sharp results on the “out-of-sample” prediction error, as opposed to the “in-sample” (fixed design) error. The analysis also reveals the effect of errors in the estimated covariance structure, as well as the effect of modeling errors, neither of which effects are present in the fixed design setting. The proofs of the main results are based on a simple decomposition lemma combined with concentration inequalities for random vectors and matrices.