基于多重共线性的处理方法

多重共线性简称共线性是多元线性回归分析中一个重要问题。消除共线性的危害一直是回归分析的一个重点。目前处理严重共线性的常用方法有以下几种:岭回归、主成分回归、逐步回归、偏最小二乘法、Lasso回归等。本文就这几种方法进行比较分析,介绍它们的优缺点,通过实例分析以便于选择合适的方法处理共线性。     

PLSR模型的回归效果分析

本文简单地介绍了多元线性回归、主元回归、部分最小二乘回归模型 ,用实例对三种方法的回归性能进行比较 ,并指出在消除多重共线性、回归系数估计精度及预测精度等方面 ,部分最小二乘回归模型优于其它两种模型     

基于主成分回归的杭州市PM2.5含量的综合分析

为探究杭州市PM2.5含量与其他指标之间的关系,搜集杭州市2019年的AQI指数和AQI 6项指标进行分析.首先通过相关分析揭示PM2.5与其余5项指标的相关性,发现各指标与PM2.5均呈线性关系,又因为其余5项指标之间存在显著的线性相关性,故自变量之间存在多重共线性.为了消除多重共线性的影响,对这5项指标提取主成分,再基于主成分分析做回归分析.最后对模型进行统计诊断,按照一定标准筛选出原始数据中的强影响点,删除强影响点后得到最终模型.     

基于MCMC主成分回归分析方法的经济增长因素研究

将MCMC算法融合到主成分回归分析模型中,提出MCMC主成分回归分析方法.新方法既具有有效避免解释变量之间的多重共线性问题以及简化回归方程结构的主成分回归分析方法的优势,又能够充分利用MCMC算法的融合先验信息、模型信息及样本似然函数的长处.将方法应用于对嘉兴市1997年至201.0年的经济发展指标的数据建模分析,结果表明,方法能有效克服现有分析方法的不足,建立预测精度更高的模型.     

基于Logistic回归的主成分估计及实证分析

应用主成分估计方法,对Logistic回归模型进行参数估计,并消除多重共线性影响.首先选取了累计贡献率达到85%以上的6个主成分,对因变量进行主成分估计,然后挑选出冠心病患者发病的主要影响因素,最后得到了因变量(冠心病发病)与6个主要影响因素(血压(sbp)、累计烟草量(tobacco)、低密度脂蛋白胆固醇(ldl)、心脏病家族史(famhist)、型表现(typea)和发病年龄(age))的回归模型.根据结果可知,心脏病家族史是导致心脏病发病最大的一个原因,它是一个不可控因素;在可控因素中,累计烟草量对冠心病发病的影响最大,因此建议患者应该控制烟草摄入量,以保证病情的稳定性.     

基于岭回归模型大数据最优子抽样算法研究

随着大数据时代的来临,为了提高计算效率,Wang等(2018)提出基于logistic回归的最优子抽样算法,在保证参数估计精度的前提下,节省了大量的运算时间.为解决变量间的多重共线性,文章提出基于岭回归模型的最优子抽样算法,并证明岭回归模型中参数估计的一致性与渐近正态性.利用数值模拟与实证分析对最优子抽样算法进行评估,...     

处理多元线性回归中自变量共线性的几种方法--SAS/STAT软件(6.12)中REG等过程增强功能的使用

本文通过例子介绍多元线性回归中自变量共线性的诊断以及使用 SAS/SATA( 6.12 )软件中的 REG等过程的增强功能处理回归变量共线性的一些方法。包括筛选变量法 ,岭回归分析法 ,主成分回归法和偏最小二乘回归法     

偏最小二乘回归在选矿效益建模中的应用

选矿效益对矿管理有着重要意义。影响选矿效益的因素之间存在严重的多重共线性,采用PLS方法建立了选矿效益的偏最小二乘回归模型,避免了普通多元回归模型的不合理性和岭回归模型选择岭参数的主观性。     

处理多元线性回归中自变量共线性的几种方法：—SAS／STAT软件（6．12）中RE

本文通过例子介绍多元线性回归中自变量共线性的诊断以及使用SAS／SATA（6．12）软件中的REG等过程的增强功能处理回归变量共线性的一些方法,包括筛变量法,岭回归分析法,主成分回归法和稔蕞小二乘回归法。     

岭回归中基于广义交叉核实法的最优模型平均估计

岭回归是一种常用的用于克服多重共线性的压缩估计方法.文章在存在异方差的背景下,考察了组合不同岭参数下岭估计量的模型平均方法,并在广义交叉核实法的框架下构造了相应的权重选择准则.当拟合模型的设定存在偏误时,证明了基于广义交叉核实法的模型平均法可以给出渐近最优的预测.此外,使用蒙特卡洛模拟考察了所提出的模型平均方法在有限样本下的有效性.最终,使用所提出的方法对一组乙炔反应工艺的数据进行了分析,所得到的结论进一步表明,模型平均法在实际数据分析工作中具有较高应用价值.     

苏州外资制造业经济增长因素贡献率测算模型与分析

在经济增长因素分析中,人们常用生产函数来分析经济增长过程,测算各要素对经济增长的贡献率.本文利用柯布-道格拉斯生产函数给出苏州外资制造业经济增长的六个影响因素贡献率测算模型与分析,由于六个影响因素之间存在多重共线性,为消除多重共线性,使模型合理,本文使用主成分回归建立模型,结果令人满意。     

SAS6.11版岭回归分析程序设计及其实例分析

应用岭回归分析可以解决自变量之间存在复共线性时的回归问题。本文给出了在SAS6.1 1及以上版本中实现岭回归分析的程序 ,用具体实例说明进行岭回归的方法     

基于支持向量回归和核岭回归对血糖值预测的对比分析

为了对比支持向量回归(SVR)和核岭回归(KRR)预测血糖值的效果,本文选择人工智能辅助糖尿病遗传风险的相关数据进行实证分析.首先对数据进行预处理,将处理后的数据导入Python.其次,为了使SVR和KRR的对比结果具有客观性,使用了三种有代表性的核方法(线性核函数,径向基核函数和sigmod核函数).然后,在训练集上采用网格搜索自动调参分别建立SVR和KRR的最优模型,对血糖值进行预测.最后,在测试集上对比分析SVR和KRR预测的均方误差(MSE)和拟合时间等指标.结果表明:均方误差(MSE)都小于0.006,且KRR的MSE比SVR的小0.0002,KRR的预测精度比SVR更高;而SVR的预测时间比KRR的少0.803秒,SVR的预测效率比KRR好.     

非主成份与广义岭型估计

针对线性回归模型Y=Xp e,e～(0,σ2I)在设计矩阵X呈病态(存在复共线性关系)时,从主成分估计的思想出发,结合岭估计减少均方误差的方法,提出并推导了一类新的估计β(k)=(X'X Φx2kΦ'2)-1X'Y,称之为广义岭型估计.优点是只对主成分和非主成分添加两个不同的常数,均方误差大幅度降低的同时,相对于一般的广义岭估计,计算量减少,相对于主成分估计,便于对原变量做出解释.文中进一步讨论了该估计与主成分估计和岭估计的优劣.     

基于主成分回归模型的经济增长因素分析

在经济增长因素分析中,常用多元回归分析方法,但有时建立的回归模型拟合效果不好或不合理。为此本文给出建立主成分回归分析的方法。本文对经济增长给出两种回归分析方法,即建立主成分线性回归模型,分析经济增长的边际效应,建立主成分非线性回归模型,分析经济增长的弹性效应,实例表明效果很好。     

PLS回归在消除多重共线性中的作用

本文详细阐述了解释变量的多重共线性在回归建模与分析中的危害作用，并指出目前常用的几种消除多重线性影响的方法，以及它们的不足之处。本文结合实证研究指出：利用一种新的建模思路—ＰＬＳ回归，可以更好地消除多重共线性对建模准确性与可靠性所带来的影响     

偏最小二乘回归分析在研究进出口总额问题中的应用

在经济研究中,自变量之间以及因变量存在着较严重的多重共线性,本文采用偏最小二乘回归来建立多元线性回归模型,以消除多重共线性的影响,从而得到较满意的结果.     

高维线性回归模型中非凸惩罚岭回归

非凸惩罚函数包括SCAD惩罚和MCP惩罚, 这类惩罚函数具有无偏性、连续性和稀疏性等特点,岭回归方法能够很好的克服共线性问题. 本文将非凸惩罚函数和岭回归方法的优势结合起来(简记为 NPR),研究了自变量间存在高相关性问题时NPR估计的Oracle性质. 这里主要研究了参数个数$p_n$ 随样本量$n$ 呈指数阶增长的情况. 同时, 通过模拟研究和实例分析进一步验证了NPR 方法的表现.     

上海基础房价相关指标及走势的分析与研究

基础房价的相关指标及其走势一直是大众关心的热门话题．本文通过对上海基础房价相关指标的分析，建立了市场房价走势的两个数学模型．模型一：在相关性分析的基础上利用主成分分析消除指标间的共线性，再用回归拟合房价模型并进行预测；模型二：在相关性分析的基础上利用核估计方法预测出房价．继呵对2005年下半年的房价走势进行了预测，得出的结果与实际情况相吻合．     

一种基于局部回归的多尺度碳市场价格预测模型研究

碳市场价格呈现非线性、非平稳的复杂特性,准确预测具有较大的挑战。基于“分而治之”的思想,提出了一种基于局部回归的多尺度碳市场价格预测模型。提出的模型利用集成经验模态分解(EEMD)对碳市场价格时间序列进行分解。启发于EEMD局部特征分解的特点,对分解后的分量采用局部回归方法进行预测,然后将分量预测结果进行集成。采用的局部回归方法包括局部线性回归(LLP)、局部多项式回归、局部岭回归、局部主成分回归、局部偏最小二乘回归和局部套索回归。实验结果表明基于局部回归的多尺度预测模型具有优异的预测性能。在提出的模型中,EEMD-LLP结构简单且性能更为突出,进一步对EEMD-LLP参数的适应性进行探讨。与新近提出模型的对比结果表明了EEMD-LLP在碳市场价格预测中的有效性。