分布式L_(1/2)正则化

研究数据集被分割并存储于不同处理器时的特征提取和变量选择问题,其中处理器通过某种网络结构相互连接.提出分布式L_(1/2)正则化方法,基于ADMM算法给出分布式L_(1/2)正则化算法,证明了算法的收敛性.算法通过相邻处理器之间完成信息交互,其变量选择结果与数据集不分割时利用L_(1/2)正则化相同.实验表明,所提出的新算法有效、实用,适合于分布式存储数据处理.     

大数据背景下分布式支持向量回归模型研究

为解决传统的支持向量回归模型在处理大规模数据时计算效率较低的局限,文章将交互有效方法与支持向量回归模型相结合,提出了基于交互有效方法的分布式支持向量回归模型(CE-SVR).该模型首先采用分布式存储方式将大规模数据随机分配给多台机器,其次采用交互有效方法构建支持向量回归的近似损失函数替代全局损失函数获得近似预测结果,能够有效地分析大规模数据.数值模拟和应用研究的结果表明:在线性模型中,文章所提出模型的预测性能与全局支持向量回归模型基本一致,且显著优于基于单轮型方法的分布式支持向量回归模型(OS-SVR);在非线性模型中,文章所提出模型的预测性能会随着机器数的增加而降低,但其预测性能显著优于OS-SVR模型.     

多源异质大数据线性模型的分布式统计推断

本文考虑多源异质大数据下线性模型的分布式统计推断问题.首先,提出针对模型参数的通信有效的分布式聚合估计及算法,并在一些正则条件下证明所得到的估计量的最优性和渐近正态性.其次,针对模型中的异质性检验问题,给出了分布式检验方法.最后,通过数值模拟研究,对本文所提出估计和检验方法的优良性进行验证.     

Lasso变量选择的分布式算法

Lasso是机器学习中比较常用的一种变量选择方法,适用于具有稀疏性的回归问题.当样本量巨大或者海量的数据存储在不同的机器上时,分布式计算是减少计算时间提高效率的重要方式之一.本文在给出Lasso模型等价优化模型的基础上,将ADMM算法应用到此优化变量可分离的模型中,构造了一种适用于Lasso变量选择的分布式算法,证明了...     

非概率样本的模型推断

非概率抽样在大数据时代有广阔的应用空间,但其统计推断问题仍有待研究和发展.针对这一问题,提出利用基于模型的推断方法结合配额抽样实现非概率样本的统计推断,其思路是先设定线性回归形式的超总体模型,再利用配额样本观测数据拟合模型估计未知参数,进而利用模型对非观测单元进行预测,案例分析结果显示基于超总体模型的推断方法是解决非概率样本统计推断的有力途径,具有较大的深入研究价值.     

大数据背景下基于expectile回归模型的分布式优化方法研究

随着大数据时代的到来,运用统计的思维和方法挖掘隐藏在数据里的价值成为大数据领域的热门研究方向.数据挖掘的常用方法是回归分析,最小二乘回归只对因变量均值做出估计,而expectile回归可以估计因变量的整体分布.本文以大数据为背景,在expectile回归模型下,提出分布式存储数据的思想,并通过构造全局损失函数的一个替代损失函数,设计Proximal-ADMM算法对模型中的参数进行估计.达到了仅使用局部样本就可有效评估全局损失函数的目的,解决了大数据中样本量大导致的计算成本昂贵的问题.     

基于t分布下混合联合位置与尺度模型的参数估计

t分布是分析厚尾数据的重要统计工具,本文基于t分布提出了稳健的混合联合位置和尺度参数的回归模型,通过EM算法给出该模型参数的极大似然估计,通过随机模拟试验验证了所提出方法的有效性.本文结合实际数据验证了该模型和方法具有实用性和可行性.     

基于Laplace分布下混合联合位置与尺度模型的参数估计

Laplace分布是分析厚尾数据的重要统计工具之一,本文基于Laplace分布提出了稳健的混合联合位置和尺度参数的回归模型,通过EM算法给出了该模型参数的极大似然估计,通过随机模拟试验验证了所提出方法的有效性.本文结合实际数据说明了该模型和方法具有实用性和可行性.     

带缺失数据的偏正态众数回归模型的参数估计

针对现实生活中大量数据存在偏斜的情况,构建偏正态数据下的众数回归模型.又加之数据的缺失常有发生,采用插补方法处理缺失数据集,为比较插补效果,考虑对响应变量随机缺失情形进行统计推断研究.利用高斯牛顿迭代法给出众数回归模型参数的极大似然估计,比较该模型在均值插补,回归插补,众数插补三种插补条件下的插补效果.随机模拟和实例分...     

非随机分布式大数据的稳健回归及其在非凸惩罚学习中的应用

大数据的分布式统计学习引起了人们的广泛关注.已有方法存在两个显著问题.首先,它们都要求大数据以随机的方式存储在不同机器上,而这一点在实际中很难满足.其次,它们大都基于最小二乘,对重尾误差和异常值很敏感.为了解决这些问题,本文提出一个稳健的分布式众数回归,并且将其应用到非凸惩罚变量选择中.新方法克服了已有方法所需要的非随机分布假定,而且理论结果也证实了这个论断.随机模拟和实际数据分析也展示了新方法的良好表现.     

高维空间相依数据的Expectile回归分析

空间数据的异质性、空间权重的内生性和解释变量的高维特征会给空间相依数据分析带来重大挑战.本文基于Expectile回归的稳健估计优势和惩罚压缩的有效降维能力,分别在外生空间和内生空间权重矩阵条件下,给出高维空间滞后模型未知参数的两步与三步惩罚Expectile估计,并在常规正则条件下证明所提出估计的相合性和变量选择的Oracle性质.数值模拟显示,两步估计法能有效处理外生空间权重矩阵条件下的稳健统计问题,同时三步估计法在外生空间和内生空间权重条件下均有优良表现.最后,通过分析我国市域空气质量与经济发展的关系,进一步验证所提出方法的有效性.     

基于偏正态数据下联合位置与尺度混合专家回归模型的参数估计北大核心CSCD

混合专家回归模型广泛应用于异质总体数据的分类,聚类及回归分析中.研究基于偏正态数据,提出了联合位置与尺度混合专家回归模型,该模型同时对位置,尺度和混合比例参数建模,应用MM算法和EM算法研究了该模型参数的极大似然估计.通过随机模拟和实例分析说明了该模型和方法的有效性与实用性.     

基于偏正态数据下联合位置与尺度混合专家回归模型的参数估计

混合专家回归模型广泛应用于异质总体数据的分类,聚类及回归分析中.研究基于偏正态数据,提出了联合位置与尺度混合专家回归模型,该模型同时对位置,尺度和混合比例参数建模,应用MM算法和EM算法研究了该模型参数的极大似然估计.通过随机模拟和实例分析说明了该模型和方法的有效性与实用性.     

空间变系数模型的局部线性BGWR估计

针对空间变系数回归模型,通过空间加权距离构造权重矩阵,基于多元线性回归模型的贝叶斯统计推断,得到了该模型的局部线性BGWR估计方法.通过此方法推导出回归系数的后验分布,采用Gibbs抽样得到回归系数的逐点估计.将所得结果通过绘制曲面图、计算偏差均值和标准差均值与LeSage的BGWR模型估计结果进行对比,进一步说明估计方法的有效性.     

纵向数据下线性模型的模态回归估计

本文考虑纵向数据下线性回归模型的稳健估计问题.通过结合模态回归(modal regression)方法和二次推断函数(quadratic inference functions)技术,提出了一种基于模态回归的估计过程.证明了回归系数的估计是相合的,并给出了其渐近分布.数据模拟结果表明所提出的估计方法具有较好的稳健性和有效性.     

线性混合效应模型的有效稳健经验似然推断

本文考虑线性混合效应模型的有效稳健经验似然统计推断问题.通过结合众数回归方法和矩阵的QR分解技术,提出了一种基于众数回归的正交经验似然统计推断过程.证明提出的关于固定效应的经验对数似然比函数渐近服从中心卡方分布,进而构造了模型固定效应的置信区间.所提出的估计过程不需要对随机效应和模型误差的分布施加任何假定,并且关于固定效应的估计过程不受随机效应的影响,因此具有较好的稳健性和有效性.     

泊松逆高斯回归模型的贝叶斯统计推断

本文研究泊松逆高斯回归模型的贝叶斯统计推断.基于应用Gibbs抽样,Metropolis-Hastings算法以及Multiple-Try Metropolis算法等MCMC统计方法计算模型未知参数和潜变量的联合贝叶斯估计,并引入两个拟合优度统计量来评价提出的泊松逆高斯回归模型的合理性.若干模拟研究与一个实证分析说明方...     

参数估计的分布式BFGS算法设计及大样本性质

在分布式条件下,为了缩减通信成本,本文基于BFGS拟牛顿法解决了相应的分布式算法设计与统计推断问题.在较低的通信成本下,本文建立了快速分布式BFGS算法,其关键是将步长进行分布式近似计算;从理论上证明了当迭代次数满足一定条件时,所得的BFGS估计量具有一致性和渐近正态性,并且给出了一个方差估计公式.通过模拟实验验证了本文基本理论的正确性,同时验证了分布式BFGS方法的估计效果与集中式方法十分接近,从而进一步说明该方法的有效性.     

Logistic回归模型的经验似然诊断

经验似然方法已经被广泛用于许多模型的统计推断.基于经验似然对Logistic回归模型进行统计诊断.首先给出模型的估计方程,进而得到模型参数的极大经验似然估计;其次,基于经验似然研究了三种不同的影响曲率;最后通过实例分析,说明了统计诊断方法的有效性.     

Tweedie类分布下广义线性联合均值与散度混合专家回归模型

Tweedie类分布在财产保险中常常用来对索赔额进行量化,而混合专家回归模型在统计和机器学习方面被广泛地研究,并用来对异质总体数据进行分类、聚类及回归分析.本文基于Tweedie类分布提出广义线性联合均值与散度混合专家回归模型,从而为非寿险费率厘定精算技术的发展提供参考思路.接着,利用EM算法给出该模型的极大似然估计,进而通过随机模拟实验验证了所提出方法的有效性.最后,本文结合空气质量指标(AQI)数据验证了该模型和方法具有实用性和可行性.