基于logistic回归模型的大数据分布式两步子抽样算法

随着大数据时代的到来,分布式存储系统被广泛应用,这使得数据的分析面临较大的挑战。本文主要基于文[1]提出的两步子抽样算法思想,提出分布式两步子抽样算法,利用该算法得到的参数估计量具有一致性和渐近正态性。采用数值模拟及真实数据预测,进一步对算法进行评估,结果表明,分布式两步子抽样算法与简单随机抽样算法相比精度更高,与全样本相比,在保证精度损失很小的基础上,节约了CPU运行时间,提高了算法效率。     

基于两步子抽样算法的P2P信用风险预测研究

随着大数据时代的到来,P2P网络借贷的数据规模日益庞大,导致P2P网络借贷信用风险比传统的金融借贷信用风险更加难以预测,使得大量的P2P机构面临倒闭.文章运用美国Lending Club网站2017-2018年的数据,采取两步子抽样方法抽取样本,建立logistic回归模型对P2P网络借贷信用风险进行预测.研究结果表明...     

基于岭回归模型大数据最优子抽样算法研究

随着大数据时代的来临,为了提高计算效率,Wang等(2018)提出基于logistic回归的最优子抽样算法,在保证参数估计精度的前提下,节省了大量的运算时间.为解决变量间的多重共线性,文章提出基于岭回归模型的最优子抽样算法,并证明岭回归模型中参数估计的一致性与渐近正态性.利用数值模拟与实证分析对最优子抽样算法进行评估,...     

两步估计的效率

对一般线性模型,为了判定和比较两步估计的优劣,本文引进了两步估计的相对效率的三种度量,给出了它们的下界,并把所得结果应用于两种线性模型:误差方差非齐性的回归模型和误差是一阶自相关的回归模型.     

缺失数据下的两步抽样法估计

在数据缺失机制形式未知时,通过两步抽样得到了分布函数的相合估计量,证明了该估计量的渐近正态性.文中假设第二次抽样时的数据缺失机制与第一次抽样时的数据缺失机制函数形式类似,允许两者有一个一维未知参数的差别.     

多源异质大数据线性模型的分布式统计推断

本文考虑多源异质大数据下线性模型的分布式统计推断问题.首先,提出针对模型参数的通信有效的分布式聚合估计及算法,并在一些正则条件下证明所得到的估计量的最优性和渐近正态性.其次,针对模型中的异质性检验问题,给出了分布式检验方法.最后,通过数值模拟研究,对本文所提出估计和检验方法的优良性进行验证.     

找周期子字的算法

§1.引言 考虑有限字母表A上字X=x_1x_2…x_n,|X|=n,x_i∈A,i=1,2,…,n;X的子字S=x_ix_(i 1)…x_j,j>i,称为周期子字,若存在p>0,使j-i 1≥2p并且有x_l=x_(l p),l=i,i 1,…,(j-p).p称为S的周期,有时把S称为终于i的周期子字.令P=x_i…x_(i p-1),p=|P|,则S可写成P~‖prefix(P),k≥2,prefix(P)表示P的某个字首。‖表示并置运算。P表示k个P并置。     

非参数局部多项式回归估计的最优子抽样算法

随着科学技术的发展,虽然人们提高了收集和处理数据的能力,但仍存在一些大数据集超出了现有计算机的计算能力.目前,抽取一部分样本来替代全样本进行建模计算是减轻计算负担的一种方法.大数据背景下线性模型的子抽样方法已经得到了相对成熟的研究,在减轻计算量方面获得了很大的优势.文章将线性模型下的子抽样方法推广到非参数回归模型,并推...     

线性模型中两步估计的分解式及其应用

本文讨论广义线性模型中均值向量和回归系数的两步估计，给出了均值向量两步估计的分解式及均值向量两步估计与其最佳线性无偏估计一致的充分条件，并把结果应用到两阶段抽样回归模型及误差相关回归模型中。     

线性模型中两步估计与BLUE差别的度量

本文讨论了广义线性模型中均值向量向和回归系数两步估计与最佳线性无偏估计差别的度量方法，给出了均值向量(回归系数)两步估计μ^-(β^-)相对于其最佳线性无偏估计μ^*(β^*)的相对精度P(μ^-|μ^*)的界及μ^--μ^*(β^--β^*)的欧氏范数界．并把文章结果应用到两阶段抽样回归模型，方差非齐次回归模型，半相依回归模型中．     

广义箱子约束优化基于线性逼近子问题的显式搜索方向算法

讨论带广义箱子约束的非线性约束优化.基于Topkis-Veinott线性规划逼近法,对搜索方向子问题进行改进,产生两个新的线性逼近子问题,重要的是两个新子问题的解均能以简单的显式表达式直接给出.由此建立问题非精确线搜索算法,算法大大降低了计算量,复杂性及CPU时间.仅在目标函数连续可微的条件下,算法具有全局收敛性.对算法进行较大规模的数值试验.     

基于两阶段思想处理拒绝推断的信用评分模型

本文首先从数据缺失机制的角度分析了信用评分模型的开发和应用中所存在的样本偏差问题,提出了可以用拒绝推断来处理此类问题;然后在曾经被应用于拒绝推断问题处理的Heckman两阶段模型的基础上,提出了用拟似然两阶段模型和广义偏线性模型这两种新的两阶段方法来处理信用评分模型中的拒绝推断问题。经过实证分析发现,应用这两种方法可以得到很理想的结果。另外根据本文的研究,人行征信这类外部数据是拒绝推断最有效的方法,如果此类数据缺乏,则用拟似然两阶段模型和广义偏线性模型是比较有效的拒绝推断方法。     

多目标调查的MPPS平衡抽样方法研究

平衡抽样是广受关注的利用辅助信息改善样本结构的抽样方法.MPPS抽样在多目标调查中采用的与多变量规模成比例的入样概率,可以在平衡抽样中精确满足.基于MPPS抽样和平衡抽样的性质,文章提出多目标调查下的MPPS平衡抽样,该方法主要思想是将多个调查变量的辅助信息在确定入样概率和随机抽样过程中同时使用,提高HT估计量精度.模...     

基于Gibbs抽样算法的贝叶斯动态面板数据模型分析

针对现有动态面板数据分析中存在偶发参数和没有考虑模型参数的不确定性风险问题,提出了基于Gibbs抽样算法的贝叶斯随机系数动态面板数据模型.假设初始值服从平稳分布,自回归系数服从Logit正态分布的条件下,设计了Markov链Monte Carlo数值计算程序,得到了模型参数的贝叶斯估计值.实证研究结果表明:基于Gibb...     

广义多值拟变分包含解的两步迭代

本文引入并研究了Hilbert空间中的一类广义多值拟变分包含问题.借助预解算子技巧构造了一个新的两步迭代算法来逼近广义多值拟变分包含的解,并且证明了其解的存在性以及迭代算法生成的迭代序列的收敛性.     

对二阶抽样中两个定理的扩充及其应用

本文对德斯·拉奇(DesRaj)就不放回二阶抽样的估计量、估计量的方差及其估计提出的两个定理做了一些扩充,并对拉奥(Rao)-哈特利(Hartley)-科克伦(Cochran)提出的二阶RHC估计量运用扩充后的定理得到其方差估计量。     

基于多目标进化算法的供水系统优化运行研究

将多目标进化算法与启发式算法相接合,对供水管网微观模型进行优化调度研究.目标函数为供水系统的运行费用和维护费用最小化,以及水压服务水平的最大化(保证安全供水),以各泵站各型号水泵的开启和调速泵的转数比为决策变量,进行二进制-实数混合编码,并采用新型的交叉算子.运用NSGA-Ⅱ、epsilon-MOEA、SPEA2三种多目标进化方法求解优化运行模型,并通过工程算例进行比较.应用表明,多目标进化算法能为供水系统的优化决策提供支持.     

多阶连续抽样设计下广义加权回归估计方法研究

在抽样调查领域中,关于抽样方案设计的研究应用较为充分和完整,但关于抽样估计的研究应用却较为缺乏和滞后。本文首先总结了国外相关研究成果,研究了基于广义加权回归的抽样估计方法,同时证明其满足渐近设计无偏和最小化渐近期望方差的理论条件。同时,本文以各类常见的抽样设计为基础,通过模型组和模型水平将现有的超总体回归模型进行扩展,基于复杂的多阶连续抽样调查,建立各种类型的超总体回归模型进行模型辅助的广义加权回归抽样估计,给出了具体的回归估计步骤和结果,最终形成一套关于广义加权回归抽样估计的理论方法体系,为抽样估计方法在我国政府统计部门中的有效应用奠定理论基础。     

大规模数据下子抽样模型平均估计理论

随着信息时代的来临,如何从海量数据中快速、有效地挖掘有用信息是目前面临的新挑战.子抽样方法作为大规模数据分析的有效工具,已经受到国内外学者的广泛关注.不过,传统的子抽样方法通常没有考虑到模型的不确定性.当模型假设不正确时,后面的统计推断将会出现偏差,甚至导致错误的结论.为了解决该问题,文章利用频率模型平均的方法构建了子抽样模型平均估计(简称SSMA估计).理论上,文章证明了SSMA估计是全部数据下模型平均估计的一个渐近无偏且相合的估计.另外,我们基于Hansen (2007)的Mallows模型平均方法提出了SSMA估计的权重选择准则,并证明了方差已知和未知时权重估计的渐近最优性.在这些理论性质的研究中,文章同时考虑了模型和抽样设计带来的双重随机性.最后,数值分析进一步说明了所提出方法的有效性.     

不等式约束优化一个基于滤子思想的广义梯度投影算法

讨论非线性不等式约束优化问题, 借鉴于滤子算法思想,提出了一个新型广义梯度投影算法.该方法既不使用罚函数又无真正意义下的滤子.每次迭代通过一个简单的显式广义投影法产生搜索方向,步长由目标函数值或者约束违反度函数值充分下降的Armijo型线搜索产生.算法的主要特点是: 不需要迭代序列的有界性假设;不需要传统滤子算法所必需的可行恢复阶段;使用了ε积极约束集减小计算量.在合适的假设条件下算法具有全局收敛性, 最后对算法进行了初步的数值实验.