非概率样本的模型推断

非概率抽样在大数据时代有广阔的应用空间,但其统计推断问题仍有待研究和发展.针对这一问题,提出利用基于模型的推断方法结合配额抽样实现非概率样本的统计推断,其思路是先设定线性回归形式的超总体模型,再利用配额样本观测数据拟合模型估计未知参数,进而利用模型对非观测单元进行预测,案例分析结果显示基于超总体模型的推断方法是解决非概率样本统计推断的有力途径,具有较大的深入研究价值.     

基于收缩近邻方法的征信缺失数据插补研究

在海量征信数据的背景下,为降低缺失数据插补的计算成本,提出收缩近邻插补方法.收缩近邻方法通过三阶段完成数据插补,第一阶段基于样本和变量的缺失比例计算入样概率,通过不等概抽样完成数据的收缩,第二阶段基于样本间距离,选取与缺失样本近邻的样本组成训练集,第三阶段建立随机森林模型进行迭代插补.利用Australian数据集和中国各银行数据集进行模拟研究,结果表明在确保一定插补精度的情况下,收缩近邻方法较大程度减少了计算量.     

基于超总体伪设计与组合样本的候选者数据库网络调查的推断研究

候选者数据库网络调查的推断问题是网络调查发展中迫切需要解决的问题.基于此,提出基于超总体伪设计与组合样本的非概率抽样推断方法:对网络候选者数据库的调查样本建立超总体模型来构造伪权数,并根据网络候选者数据库的调查样本和概率样本的组合样本计算总体均值的估计,最后根据超总体模型的方差估计理论推导出目标总体均值估计的方差估计式,同时采用Bootstrap与Jackknife方法来估计总体均值估计的方差,并比较不同方差估计方法的效果.研究结果表明:基于超总体伪设计与组合样本的总体均值估计效率高于仅使用概率样本的估计和仅使用网络候选者数据库的调查样本加权的估计,估计效果较好;方差估计方面,采用VM1、VM2与VM3方法计算的方差估计相比而言更好.     

抽样调查中缺失数据的插补方法

在抽样调查等实际问题中,经常出现数据缺失.针对这类问题,通常的处理方法之一是对数据进行插补。本文综述了抽样调查中处理缺失数据常用的插补方法。重点讨论了单一插补的方差估计与多重插补的简化计算以及使用回答概率的单一插补等。最后讨论目前插补所面临的问题与其发展方向.     

基于贝叶斯伪设计与组合样本的候选者数据库网络调查的推断研究

候选者数据库网络调查的推断问题是网络调查发展中迫切需要解决的问题.基于此,提出基于贝叶斯伪设计与组合样本的非概率抽样推断方法:将网络候选者数据库的调查样本与概率样本结合,根据贝叶斯定理推导出网络候选者数据库的调查样本单元的伪权数构造式,再利用两个样本数据共同估计总体均值,最后利用Bootstrap和Jackknife方法来计算总体均值估计的方差估计.研究结果表明:基于贝叶斯伪设计与组合样本的总体均值估计比使用Elliot方法估计的总体均值偏差更小,估计效果较好;方差估计方面,Bootstrap方差估计比Jackknife方差估计的效果好.     

基于逆概率加权和插补的Mallows模型平均方法

数据缺失是实际数据分析中一个常见的问题.文章将逆概率加权方法与插补方法结合,提出了一种Mallows模型平均方法以处理数据缺失问题,并证明了该方法得到的估计量在实现最小平方误差的意义下能渐近地达到最优.相比于传统的逆概率加权方法,文章的方法不仅可以充分利用观测信息,并且能够应用于非随机缺失的情形.相比于完全基于插补的方法,文章的方法继承了插补方法的一些优势,同时能够避免因错误地插补较大的数据块而产生的偏差.通过数值模拟,首先验证了三种简单的插补方法满足渐近最优性成立的条件,之后将文章提出的Mallows模型平均方法与已有的应用于缺失数据的模型平均方法进行比较,结果表明,所提出的新方法在大多数情况下优于已有的其它模型平均方法.最后,将新方法应用于平均寿命数据,实证结果进一步表明新方法较已有模型平均方法更为稳健.     

基于模型信息的平均处理效果的拟似然估计

本文考虑当给定协变量时响应变量的条件期望和条件方差的模型形式已知时的平均处理效果的估计问题, 文章发展了适用于处理效果数据的拟似然方法来估计上述条件期望和条件方差模型中的参数.然后基于模型信息, 通过插补、回归和逆概率加权方法, 定义了3个估计.文中结果表明3个估计都服从渐近正态分布.模拟结果显示, 与文献中已有的估计相比较,文中基于模型的估计在效率上有很大改进.     

随机缺失数据下样本分位数估计

分位数的估计在生物医学、社会经济调查等领域有着广泛的应用,然而在实际问题的研究中,往往由于各种人为或不可控因素造成数据收集不完全.本文在随机缺失(MAR)假设条件下,利用非参数核补法和局部多重插补法给出了响应变量缺失时样本分位数的估计,并利用经验过程等理论证明了由这两种方法得到的分位数估计的大样本性质,同时,使用重抽样方法给出了估计的渐近方差的估计,模拟结果验证了这两种方法的有效性.文章所提两种方法的优点在于:首先,所提出的缺失修正方法不需要对缺失概率的模型做任何假设;其次,方法亦适用于其他有关参数不可微的估计目标函数;最后,方法很容易地推广到一般M估计的情况,并可以对多个分位数同时进行估计.     

基于协变量缺失的Horvitz-Thompson加权分位回归估计方法

含有协变量缺失的数据缺失问题是现代统计分析中的热点之一.当缺失数据中同时存在厚尾,偏斜和异方差问题时则更加难以处理.为此,本文提出一种逆概率加权分位回归估计来研究响应和协变量之间的关系.与经典估计方法相比具有明显优势,一方面,该估计量使用了所有可用的数据,并且允许缺失的协变量与响应高度相关;另一方面,该估计量在所有分位数水平上满足一致性和渐近正态性.通过模拟验证了该方法的在有限样本下的有效性,进一步将该方法推广到线性多元回归模型和非参数回归模型.     

缺失数据下联合均值与方差模型的参数估计

基于正态分布提出了缺失数据下联合均值与方差模型,在响应变量随机缺失下研究了该模型均值插补、回归插补和随机回归插补三种插补方法的参数估计,通过数据模拟和实例研究结果比较表明,随机回归插补方法是三种插补方法中最有用和有效的。     

协变量缺失情形下的逆概率加权众数回归估计

数据缺失在实际应用中普遍存在,数据缺失会降低研究效率,导致参数估计有偏.在协变量随机缺失(MAR)的假定下,本文基于众数回归和逆概率加权估计方法对线性模型进行参数估计.该方法结合参数Logistic回归和非参数Nadaraya-Watson估计两种倾向得分估计方法,分别构建IPWM-L估计量和IPWM-NW估计量.模拟研究和实例分析表明,众数回归模型比均值回归模型更具稳健性,逆概率加权众数(IPWM)估计方法在缺失数据下表现出了更好的拟合效果,与IPWM-L估计量相比, IPWM-NW估计量更稳健.     

混合样本方差的优良性

常见的教科书中通常采用混合样本方差作为方差相等的两个正态总体方差的估计,而对其优良性却鲜有解释.在本文中,我们证明了混合样本方差是总体方差的UMVUE,即一致最小方差无偏估计.     

十年高考全国课标卷统计与概率解答题的考查研究——以2009年至2018年高考全国课标卷理科为例北大核心

1引言统计与概率是高中数学的重要内容,《2018年普通高等学校招生全国统一考试大纲的说明（理科）》对统计与概率内容的要求是,高考主要考查随机抽样,用样本估计总体,变量的相关性,随机事件的概率,古典概型,几何概型,回归分析,独立性检验,离散型随机变量的分布列、期望、方差,正态分布．考查重点是用样本估计总体.     

概率与统计的知识理解之方差

方差是描述数据集中趋势的重要指标,是进行统计决策的关键要素.通过对方差知识的深入梳理,分析样本方差分母为n和n-1的两种不同适用情形,并对在用样本估计总体统计思想下样本方差分母的校正从两个维度进行阐述与证明,有助于加强人们对方差知识的理解,做出正确的统计决策.     

缺失数据下线性模型的半参数估计

通过比较参数方法和非参数方法对选择概率建模的优缺点,基于充分降维的思想提出了一种利用单指标模型对选择概率建模的半参数方法.基于逆概率加权方法和半参数方法,研究了缺失数据下线性模型的统计推断问题.建立的逆概率加权估计方程可以处理不同的数据缺失情形,给出了线性模型中兴趣参数的估计,并证明了它的渐近正态性.最后通过模拟研究说明提出的方法具有较好的有限样本性质.     

广义Pareto分布的广义有偏概率加权矩估计方法

广义Pareto分布(GPD)是统计分析中一个极为重要的分布,被广泛应用于金融、保险、水文及气象等领域.传统的参数估计方法如极大似然估计、矩估计及概率加权矩估计方法等已被广泛应用,但使用中存在一定的局限性.虽然提出很多改进方法如广义概率加权矩估计、L矩和LH矩法等,但都是研究完全样本的估计问题,而在水文及气象等应用领域常出现截尾样本.本文基于概率加权矩理论,利用截尾样本对三参数GPD提出一种应用范围广且简单易行的参数估计方法,可有效减弱异常值的影响.首先求解出具有较高精度的形状参数的参数估计,其次得出位置参数及尺度参数的参数估计.通过Monte Carlo模拟说明该方法估计精度较高.     

缺失偏t正态数据下线性回归模型的统计推断

本文研究缺失偏t正态数据下线性回归模型的参数估计问题,针对缺失偏t正态数据,为使样本分布更加接近真实分布,改善模型的回归系数、尺度参数、偏度参数和自由度参数的估计效果,提高参数估计的稳定性,提出一种适合缺失偏t正态数据下线性回归模型的修正随机回归插补方法.通过随机模拟和实例研究,同随机回归插补,多重随机回归插补方法比较,结果表明所提出的修正随机回归插补方法是有效可行的.     

因变量缺失下变系数部分线性测量误差模型的变量选择

主要研究因变量存在缺失且协变量部分包含测量误差情形下,如何对变系数部分线性模型同时进行参数估计和变量选择.我们利用插补方法来处理缺失数据,并结合修正的profile最小二乘估计和SCAD惩罚对参数进行估计和变量选择.并且证明所得的估计具有渐近正态性和Oracle性质.通过数值模拟进一步研究所得估计的有限样本性质.     

基于倾向得分匹配的缺失数据插补方法

针对预测均值匹配中相近性刻画较为单一的问题,考虑多种相近性刻画方法,同时结合倾向得分可将多个协变量降维的特点,提出采用倾向得分匹配来对缺失数据进行插补的新方法:首先估计倾向得分,然后可选择最近邻、卡钳与半径、分层或区间等多种匹配方法进行匹配,最后利用匹配单元的目标变量来对数据缺失单元进行插补.进一步采用蒙特卡罗模拟和实际数据证实方法是有效的,且在均值插补、回归插补、随机插补、最近邻倾向得分匹配插补、卡钳与半径倾向得分匹配插补、分层或区间倾向得分匹配插补方法中分层或区间倾向得分匹配插补效果最好.     

带缺失数据的偏正态众数回归模型的参数估计

针对现实生活中大量数据存在偏斜的情况,构建偏正态数据下的众数回归模型.又加之数据的缺失常有发生,采用插补方法处理缺失数据集,为比较插补效果,考虑对响应变量随机缺失情形进行统计推断研究.利用高斯牛顿迭代法给出众数回归模型参数的极大似然估计,比较该模型在均值插补,回归插补,众数插补三种插补条件下的插补效果.随机模拟和实例分...