基于多重共线性的处理方法

多重共线性简称共线性是多元线性回归分析中一个重要问题。消除共线性的危害一直是回归分析的一个重点。目前处理严重共线性的常用方法有以下几种:岭回归、主成分回归、逐步回归、偏最小二乘法、Lasso回归等。本文就这几种方法进行比较分析,介绍它们的优缺点,通过实例分析以便于选择合适的方法处理共线性。     

可线性化的非线性回归的有关问题与几种回归方法的比较

对于幂函数、指数函数等类型的非线性回归,只当采用乘积随机误差时才能够线性化.导出了采用乘积随机误差时幂函数型因变量的数学期望的表达式,表明因变量的估计值并非是其数学期望的估值;导出了非线性回归与其线性化回归二者的残差平方和之间的关系式,表明当对非线性回归的因变量做了变换时,传统方法所求非线性回归系数不满足该因变量的残差平方和为最小.故幂函数、指数函数等类型的回归计算,应采用非线性回归方法求解.实例进一步表明,非线性回归方法高斯-牛顿法和麦夸尔特法均显著优于传统方法,且借助MATLAB软件易于实现.     

判别分析与Logistic回归组合分类

本文讨论判别分析与Logistic回归组合方法的二分类问题.模拟结果显示,基于判别分析的Logistic回归的第一组合法的回判正确率往往高于判别分析分类和Logistic回归分类.第二组合法是基于Logistic回归的判别分析分类,回判正确率接近于Logistic回归的分类结果.很多情况下,这两种方法的回判正确率都高于判别分析。     

凸规划下的保序回归

本文从约束最优化的观点来研究保序回归的解的问题 ,利用MATLAB给出了保序回归问题的求解方法 ,使得求解速度大大加快。本文的方法对进一步讲座其他保序回归问题具有一般性。     

PP回归方法在预测模型中的应用－用PP回归建立“积累”“消费”模型

本文利用ＰＰ回归方法,建立“积累”“消费”回归模型,并与最小二乘法拟合的线性回归模型相比较,说明用ＰＰ回归建立的模型预测精度较高．     

SAS6.11版岭回归分析程序设计及其实例分析

应用岭回归分析可以解决自变量之间存在复共线性时的回归问题。本文给出了在SAS6.1 1及以上版本中实现岭回归分析的程序 ,用具体实例说明进行岭回归的方法     

缺失偏t正态数据下线性回归模型的统计推断

本文研究缺失偏t正态数据下线性回归模型的参数估计问题,针对缺失偏t正态数据,为使样本分布更加接近真实分布,改善模型的回归系数、尺度参数、偏度参数和自由度参数的估计效果,提高参数估计的稳定性,提出一种适合缺失偏t正态数据下线性回归模型的修正随机回归插补方法.通过随机模拟和实例研究,同随机回归插补,多重随机回归插补方法比较,结果表明所提出的修正随机回归插补方法是有效可行的.     

偏最小二乘回归的应用效果分析

本文介绍了偏最小二乘回归 (PLS)的建模方法 ,比较了PLS与普通最小二乘回归 (OLS)及主成分回归的应用效果 ,并总结了PLS回归的基本特点 .     

处理多元线性回归中自变量共线性的几种方法--SAS/STAT软件(6.12)中REG等过程增强功能的使用

本文通过例子介绍多元线性回归中自变量共线性的诊断以及使用 SAS/SATA( 6.12 )软件中的 REG等过程的增强功能处理回归变量共线性的一些方法。包括筛选变量法 ,岭回归分析法 ,主成分回归法和偏最小二乘回归法     

PP回归方法在预测模型中的应用－用PP回归建立“积累”“消费”模型

本文利用ＰＰ回归方法,建立“积累”“消费”回归模型,并与最小二乘法拟合的线性回归模型相比较,说明用ＰＰ回归建立的模型预测精度较高．     

基于分位数回归的大学生成绩变化实证分析

在介绍分位数回归方法的基础上,讨论了分位数回归模型在研究影响大学生成绩变化因素方面的应用,与最小二乘回归模型对比,分位数回归能有效地描述数据尾端的分布情况.     

大规模数据的L1惩罚分位数回归方法研究--基于特征筛选和随机抽样方法

为解决大规模数据在进行回归分析时存在的计算内存不足和运行时间较长的问题,提出两个新的回归分析方法:先筛选后抽样的大规模数据L₁惩罚分位数回归方法(FSSLQR)和先抽样后筛选的大规模数据L₁惩罚分位数回归方法(SFSLQR),其数值模拟和实际应用结果表明:FSSLQR和SFSLQR方法不仅能够显著降低计算内存和运行时间,而且其估计预测和变量选择的结果与全量L₁惩罚分位数回归基本一致。此外,与Xu等(2018)提出的大规模数据的L1惩罚分位数回归方法(SLQR)相比,FSSLQR和SFSLQR方法在估计预测、变量选择和运行时间等方面都更具优势。     

一种基于局部回归的多尺度碳市场价格预测模型研究

碳市场价格呈现非线性、非平稳的复杂特性,准确预测具有较大的挑战。基于“分而治之”的思想,提出了一种基于局部回归的多尺度碳市场价格预测模型。提出的模型利用集成经验模态分解(EEMD)对碳市场价格时间序列进行分解。启发于EEMD局部特征分解的特点,对分解后的分量采用局部回归方法进行预测,然后将分量预测结果进行集成。采用的局部回归方法包括局部线性回归(LLP)、局部多项式回归、局部岭回归、局部主成分回归、局部偏最小二乘回归和局部套索回归。实验结果表明基于局部回归的多尺度预测模型具有优异的预测性能。在提出的模型中,EEMD-LLP结构简单且性能更为突出,进一步对EEMD-LLP参数的适应性进行探讨。与新近提出模型的对比结果表明了EEMD-LLP在碳市场价格预测中的有效性。     

岭回归和核主成分回归在消除共线性中的实证分析及比较

检测和解决多元回归分析中的多重共线性问题具有重要意义.本文采用岭回归(RR)和核主成分回归(KCPR)对同一数据进行回归分析,使用方差膨胀因子(VIF)和条件指数(CI)作为共线性诊断的量度,并对回归模型结果进行比较.经过实证分析,发现这两种回归方法都能很好地消除多重共线性,总的来说核主成分回归的对内拟合效果要优于岭回归.但是这两种方法的参数选择的不同对回归模型的好坏都有巨大影响,需要进一步分析判断.     

删失数据回归误差项的非参数密度估计的一致相合性(英文)

回归误差项是不可观测的. 由于回归误差项的密度函数在实际中有许多应用, 故使用非参数方法对其进行估计就成为回归分析中的一个基本问题. 针对完全观测数据回归模型, 曾有作者对此问题进行了研究. 然而在实际应用中, 经常会有数据被删失的情况发生, 在此情况下, 可以利用删失回归残差, 并使用核估计的方法对回归误差项的密度函数进行估计. 本文研究了该估计的大样本性质, 并证明了估计量的一致相合性.     

指数函数与幂函数回归计算的极大似然法及其应用

为提高拟合精度,研究了指数函数与幂函数非线性回归计算的极大似然法.分析表明,在指数函数与幂函数回归计算的因变量为正态随机变量的情况下,极大似然估计与非线性回归的最小二乘估计具有相同的结果;导出了极大似然法求解指数函数与幂函数回归参数的方程式,并给出了计算方法.此方法拟合因变量的残差平方和为最小.实例表明,本文方法拟合精度与高斯-牛顿法相当、显著优于线性化的回归方法,而计算方法要比高斯-牛顿法简单方便,易于实现.     

多指标回归综合评分

如何对多指标进行综合评分是试验设计中的一个重要问题。本文首先回顾了试验设计中用于多指标综合评分的排队评分法、公式评分法和回归评分法,并着重介绍了这三种方法中最具优越性的回归评分法。回归评分法兼具前两种方法的优点且克服了它们的不足,然而在实际中却应用很少。本文分析了现有回归评分法可能存在的一些不足,提出了评判回归评分公式优劣的三个标准,同时对回归评分法的步骤做了改进。最后用一个实例对改进的回归评分法做了介绍和验证。     

缺失数据下联合均值与方差模型的参数估计

基于正态分布提出了缺失数据下联合均值与方差模型,在响应变量随机缺失下研究了该模型均值插补、回归插补和随机回归插补三种插补方法的参数估计,通过数据模拟和实例研究结果比较表明,随机回归插补方法是三种插补方法中最有用和有效的。     

大数据背景下分布式支持向量回归模型研究

为解决传统的支持向量回归模型在处理大规模数据时计算效率较低的局限,文章将交互有效方法与支持向量回归模型相结合,提出了基于交互有效方法的分布式支持向量回归模型(CE-SVR).该模型首先采用分布式存储方式将大规模数据随机分配给多台机器,其次采用交互有效方法构建支持向量回归的近似损失函数替代全局损失函数获得近似预测结果,能够有效地分析大规模数据.数值模拟和应用研究的结果表明:在线性模型中,文章所提出模型的预测性能与全局支持向量回归模型基本一致,且显著优于基于单轮型方法的分布式支持向量回归模型(OS-SVR);在非线性模型中,文章所提出模型的预测性能会随着机器数的增加而降低,但其预测性能显著优于OS-SVR模型.     

单变量空间自回归测量误差模型的参数估计

本文在经典的空间自回归模型中引入测量误差,从只有一个自变量入手,构建单变量空间自回归测量误差模型,探讨自变量存在的测量误差对空间自回归模型的影响,建立单变量空间自回归测量误差模型的参数估计方法和算法,通过数值模拟验证估计方法的可行性和可靠性.