调查中的数据缺失及处理(Ⅰ)

调查中经常遇到缺失数据的现象。产生缺失数据的原因有多种,不同背景下的缺失数据对统计分析会带来不同的影响。提高统计调查数据的质量,一方面要采取有效措施减少数据缺失,提高调查的回答率;另一方面,当出现缺失数据时,可以对不完整的数据集进行处理,以减小由于缺失数据带来的影响。对缺失值有不同的调整方法,不同的方法各有特点。本系列将围绕上述问题进行讨论。     

缺失数据的偏差校正(系列三)

调查中的缺失数据会造成估计量的偏倚。有一些简单易行的对数据进行调整的方法 ,如果使用得当 ,可以减小由于缺失数据造成的估计量偏倚。本文介绍了三种常用的方法 :即 ,再抽样调整 ;多次调查数据调整和相关推估法     

关于数据缺失机制的检验方法探讨

在调查研究中,缺失数据是一个非常普遍的问题,各种处理缺失数据的方法都是建立在数据缺失机制的某种假定上.在总结他人研究成果的基础上,分别给出了MCAR、MAR和NMAR机制的检验识别方法,MCAR机制的检验从分布特征入手,通过比较均值和方差是否一致来判定;MAR机制的检验利用Logit模型刻画缺失指示变量R的分布,通过估计参数的显著性来判定,NMAR机制则通过对数据的缺失模式和原因进行分析来识别.     

基于SMOTE和KNN的石油数据缺失填充算法

大数据环境下,数据缺失是一种普遍现象,由此带来数据决策偏差等问题.针对石油生产数据缺失问题,提出一种基于SMOTE和KNN的数据填充SMKNN算法.受不平衡数据集过采样的启发,SMKNN算法在KNN算法基础上采用SMOTE算法选取近邻随机插值产生的数据作为近似缺失值,同时,采用多重填补思想求平均值作为填充数据.分别采用UCI机器学习标准数据集和大庆油田某井区生产数据进行实验,验证了SMKNN算法不仅能填充数据,而且提高了准确率.     

缺失数据的插补调整

插补是另一类对缺失数据进行调整 ,以减小估计偏差的方法。本文介绍的插补方法有 :演绎估计 ,均值插补 ,随机插补 ,回归插补和多重插补     

随机缺失数据下的时间序列分析建模

在时间序列建模过程中,数据的缺失会极大地影响模型的准确性,因此对缺失数据的填补尤为重要.选取北京市空气质量指数(AQI)数据。将其随机缺失10%.分别利用EM算法和polyfit直线拟合的方法对缺失值插补,补全数据后建立ARMA模型并作预测分析.结果表明,利用polyfit函数插补法具有较好的结果.     

缺失数据均值推断的经验似然方法

研究了缺失数据的均值推断问题.在随机缺失及半参数模型的假设下,设计了基于影响函数理论的经验似然推断方法,证明了所构造的对数经验似然比检验统计量具有非参数Wilks性质.此外,该经验似然方法可以利用辅助协变量中提供的附加信息来提高检验的功效.在近邻备择假设下,计算了检验统计量的功效,并且通过一些模拟考察了该方法在有限样本下的表现.     

缺失数据均值推断的经验似然方法

研究了缺失数据的均值推断问题.在随机缺失及半参数模型的假设下,设计了基于影响函数理论的经验似然推断方法,证明了所构造的对数经验似然比检验统计量具有非参数Wilks性质.此外,该经验似然方法可以利用辅助协变量中提供的附加信息来提高检验的功效.在近邻备择假设下,计算了检验统计量的功效,并且通过一些模拟考察了该方法在有限样本下的表现.     

完全随机缺失数据下配对试验的Bayes分析

采用Bayes分析方法,对完全随机缺失下配对试验设计数据进行统计分析,给出了参数的Bayes后验概率密度函数及参数的置信区间计算表达式,并对基于Bayes分析的假设检验功效进行了模拟.从模拟结果看,Bayes分析检验功效一致性地高于缺失数据配对删除的t检验方法,特别,在缺失数据相对较多或配对数据相关系数较低时,其表现出更大优势.     

缺失数据下线性模型的半参数估计

通过比较参数方法和非参数方法对选择概率建模的优缺点,基于充分降维的思想提出了一种利用单指标模型对选择概率建模的半参数方法.基于逆概率加权方法和半参数方法,研究了缺失数据下线性模型的统计推断问题.建立的逆概率加权估计方程可以处理不同的数据缺失情形,给出了线性模型中兴趣参数的估计,并证明了它的渐近正态性.最后通过模拟研究说明提出的方法具有较好的有限样本性质.