随机缺失数据下的时间序列分析建模

在时间序列建模过程中,数据的缺失会极大地影响模型的准确性,因此对缺失数据的填补尤为重要.选取北京市空气质量指数(AQI)数据。将其随机缺失10%.分别利用EM算法和polyfit直线拟合的方法对缺失值插补,补全数据后建立ARMA模型并作预测分析.结果表明,利用polyfit函数插补法具有较好的结果.     

左截断右删失数据下离散型寿命失效率变点模型的Bayes参数估计

利用EM算法和MCMC方法得到了左截断右删失数据下离散型寿命失效率变点模型的参数估计.利用筛选法对缺失数据进行填充,对各参数进行Gibbs抽样.随机模拟证实方法可行且参数估计的精度较高.     

基于随机森林模型的成分数据缺失值填补法

缺失数据处理是数据挖掘领域中进行数据预处理的一个重要环节,由于成分数据特殊的几何性质,传统的缺失值填补方法不能直接用于这种类型的数据.因此,对成分数据而言,缺失值的填补具有十分重要的意义.为了解决这个问题,本文利用了成分数据和欧氏数据之间的关系,提出了一种基于随机森林的成分数据缺失值迭代填补法,该方法的实施和评估采用模拟和真实的数据集.实验结果表明:新的填补方法可广泛应用于多种类型的数据集且具有较高准确性.     

多元空间因子模型的仿真、模型比较与应用

空间因子模型旨在揭示观测变量因公共因子的区域变化而产生的相关性。条件自回归模型被应用到因子分析模型。在贝叶斯框架内,马尔可夫链蒙特卡洛方法(MCMC)被用来进行后验分析。随机模拟结果揭示出方法的有效性,并对江苏省2005产业数据的进行了相关分析。     

删失截断情形下失效率变点模型的Bayes参数估计

通过添加部分缺失寿命变量数据,得到了删失截断情形下失效率变点模型相对简单的似然函数.讨论了所添加缺失数据变量的概率分布和随机抽样方法.利用Monte Carlo EM算法对未知参数进行了迭代.结合Metropolis-Hastings算法对参数的满条件分布进行了Gibbs抽样,基于Gibbs样本对参数进行估计,详细介绍了MCMC方法的实施步骤.随机模拟试验的结果表明各参数Bayes估计的精度较高.     

厚尾随机波动率模型的贝叶斯参数估计及实证研究

针对现有时间序列模型难以刻画参数渐变性的问题,对厚尾随机波动(SV)模型的参数估计方法进行了推广,采用基于贝叶斯的MCMC方法,选取2013年5月~2016年6月这一经历多轮震荡的上证指数作为实证分析对象,构造了基于Gibbs抽样的MCMC过程进行仿真分析.结果显示,以卡方分布作为厚尾参数的先验分布能够有效地描述数据波动的厚尾特征,并且能得到较高精度的参数估计结果.结果表明,厚尾SV模型能有效反映出我国股市尖峰厚尾和波动长期记忆性的特征.     

混合缺失机制下两总体差异的半经验似然置信区间

假定两个总体x与y均有数据缺失,它们的分布函数分别为F(·)与G_θ(·),其中F(·)未知,G_θ(·)的概率密度函数g_θ(·)形式已知,仅依赖于一些未知的参数,利用Fractional填补法填补缺失值,在一定的条件下证明了缺失数据下两总体差异指标的半经验似然比统计量的渐近分布为x_1~2,由此可构造两总体差异指标的经验似然置信区间.     

删失截断情形下Weibull分布多变点模型的参数估计

通过添加缺失的寿命变量数据,得到了删失截断情形下Weibull分布多变点模型的完全数据似然函数,研究了变点位置参数和形状参数以及尺度参数的满条件分布.利用Gibbs抽样与Metropolis-Hastings算法相结合的MCMC方法得到了参数的Gibbs样本,把Gibbs样本的均值作为各参数的Bayes估计.详细介绍了MCMC方法的实施步骤.随机模拟试验的结果表明各参数Bayes估计的精度都较高.     

基于变分算法的贝叶斯分层收缩模型及其应用

贝叶斯统计推断通常会遇到后验分布中出现高维积分这一公认的计算难题。一种常用的解决方法是使用MCMC算法。然而,MCMC算法在处理高维大数据或复杂模型时计算效率很低,并且难以判断算法收敛性。针对自适应贝叶斯收缩模型、贝叶斯LASSO模型和扩展的贝叶斯LASSO模型,本文提出了一种更高效的变分贝叶斯(VB)算法来进行参数估计和变量选择。该算法源于理论物理中的平均场理论。它将复杂积分问题转化为最优化问题,使用假定分布族中最接近目标后验分布的分布来近似求解,并且易于判断算法收敛情况。数值模拟结果显示,VB算法不仅计算速度明显优于MCMC算法,而且其模型拟合和变量选择效果也与MCMC算法相当,可以作为MCMC算法的一种替代方法。最后,本文运用VB算法分析了俄罗斯房产售价的重要影响因素。     

基于MCMC模拟的MGPD模型及其在地质灾害风险度量中的应用

基于马尔科夫链蒙特卡洛(简记为MCMC)模拟的参数贝叶斯估计,对改进的广义帕累托分布(简记为MGPD)模型进行了优化,并利用该模型得到了地质灾害损失的在险损失值(简记为VaR)和条件损失值(简记为CVaR).以湖南娄底市地质灾害损失数据进行实证分析及模型适应性检验,结果表明:优化后的模型不仅具有很好的极值数据描述能力,而且具有较强的适用性.     

抽样调查中缺失数据的插补方法

在抽样调查等实际问题中,经常出现数据缺失.针对这类问题,通常的处理方法之一是对数据进行插补。本文综述了抽样调查中处理缺失数据常用的插补方法。重点讨论了单一插补的方差估计与多重插补的简化计算以及使用回答概率的单一插补等。最后讨论目前插补所面临的问题与其发展方向.     

An Imputation Method for Missing Data in Compositional Based on Epanechnikov Kernel

Kernel function method has been successfully used for the estimation of a variety of function. By using the kernel function theory, an imputation method based on Epanechnikov kernel and its modification were proposed to solve the problem that missing data in compositional caused the failures of existing statistical methods and the k-nearest imputation didn't consider the different contributions of the k nearest samples when it used them to estimated the missing data. The experimental results illustrate that the modified imputation method based on Epanechnikov kernel get a more accurate estimation than k-nearest imputation for compositional data.     

复杂设计下类均值复制与类加权均值复制的比较（英文）

复制数据是处理抽样调查中数据项目缺失的一种常用方法。在两种常见模型及复杂抽样设计下，本文对处理数据项目缺失的类均值复制和类加权均值复制方法进行了对比。     

Imputation of mean of ratios for missing data and its application to PPSWR sampling

In practical survey sampling, nonresponse phenomenon is unavoidable. How to impute missing data is an important problem. There are several imputation methods in the literature. In this paper, the imputation method of the mean of ratios for missing data under uniform response is applied to the estimation of a finite population mean when the PPSWR sampling is used. The imputed estimator is valid under the corresponding response mechanism regardless of the model as well as under the ratio model regardless of the response mechanism. The approximately unbiased jackknife variance estimator is also presented. All of these results are extended to the case of non-uniform response. Simulation studies show the good performance of the proposed estimators.     

基于空间自回归模型的缺失值插补方法

本文研究来自于区域的截面数据中缺失值的插补问题,讨论了当数据中存在空间相关时,空间自回归模型的建立以及利用其对缺失值进行插补的方法,并根据实际数据,通过建立模型给出插补结果。     

�������ɭ��ģ�͵ijɷ�����ȱʧֵ���

Dealing with the missing values is an important object in the field of data mining. Besides, the properties of compositional data lead to that traditional imputation methods may get undesirable result if they are directly used in this type of data. As a result, the management of missing values in compositional data is of great significant. To solve this problem, this paper uses the relationship between compositional data and Euclidean data, and proposes a new method based on Random Forest for missing values in compositional data. This method has been implemented and evaluated using both simulated and real-world databases, then the experimental results reveal that the new imputation method can be widely used in various types of data sets and has good performance than other methods.     

分数填补下两总体分位数差异的经验似然置信区间

设有两个非参数总体,其样本数据不完全,用分数填补法补足缺失数据,得到两总体的"完全"样本数据,在此基础上构造两总体分位数差异的经验似然置信区间.模拟结果显示,分数填补法可以得到更加精确的置信区间.     

质量调整的价格指数编制中hedonic插补法的应用

在数据缺失的情况下,插补法是一种常用的推断缺失数据的方法。在价格指数的编制中,在基期存在的产品可能在报告期从市面上消失,或者报告期出现了新产品。这都可以看作是数据缺失的情形。同时由于前后时期产品质量发生变化,所编制的价格指数中可能包含"质量变化偏差"。Hedonic插补法将hedonic方法与缺失数据的插补方法结合起来,既处理了缺失数据,又克服了价格指数中的质量变化偏差。本文讨论了hedonic插补法的多种可能形式,并比较了各种方法的特点。本文还利用中国笔记本电脑的数据编制了hedonic插补价格指数,进行了相关的实证分析。     

缺失数据的插补调整

插补是另一类对缺失数据进行调整 ,以减小估计偏差的方法。本文介绍的插补方法有 :演绎估计 ,均值插补 ,随机插补 ,回归插补和多重插补     

Multiple Imputation by Ordered Monotone Blocks With Application to the Anthrax Vaccine Research Program

Multiple imputation (MI) has become a standard statistical technique for dealing with missing values. The CDC Anthrax Vaccine Research Program (AVRP) dataset created new challenges for MI due to the large number of variables of different types and the limited sample size. A common method for imputing missing data in such complex studies is to specify, for each of J variables with missing values, a univariate conditional distribution given all other variables, and then to draw imputations by iterating over the J conditional distributions. Such fully conditional imputation strategies have the theoretical drawback that the conditional distributions may be incompatible. When the missingness pattern is monotone, a theoretically valid approach is to specify, for each variable with missing values, a conditional distribution given the variables with fewer or the same number of missing values and sequentially draw from these distributions. In this article, we propose the “multiple imputation by ordered monotone blocks” approach, which combines these two basic approaches by decomposing any missingness pattern into a collection of smaller “constructed” monotone missingness patterns, and iterating. We apply this strategy to impute the missing data in the AVRP interim data. Supplemental materials, including all source code and a synthetic example dataset, are available online.