不同缺失率下EM算法的参数估计

缺失数据是林学研究中普遍存在的一种现象,依据极大似然的思想,对林学研究中有缺失数据的线性模型,推导出了基于EM算法参数估计的迭代公式,为考察样地林分质量,以8个杉木固定样地观测资料的真实数据建立模型,通过计算机模拟和有关的数据分析,得到了12种不同缺失率下参数的估计结果,并与完全数据时的参数估计进行了比较。     

AR（p）模型中的缺失数据估计

运用EM算法,对含有缺失数据的AR（p）模型进行参数估计,通过最大似然准则就非左端缺失的情况进行插补.最后,用蒙特卡洛方法给出实验分析,表明如下结果：（i）误差与AR模型的阶数正相关,与缺失比例正相关;（ii）当AR模型的特征根模长相对较小时,误差与数据长度负相关,且误差被控制在了标准差的30％以内;（iii）当模长中等时,误差基本控制在1个标准差左右;（iv）当模长较大时,误差与数据长度正相关,而且误差也相对较大.     

有缺失数据的META-MARKOV模型的局部计算

根据meta Markov模型的特征,本文提出了有缺失数据的meta Markov模型的局部计算方法．由于最小可压缩集与局部计算关系密切,本文给出了一种搜索包含预先给定的子集的最小可压缩集的算法．     

一种计算EM步长的方法

本文使用ＥＭ算法解决某些完全数据下的参数估计问题，使用Ｆｉｓｈｅｒ公式计算ＥＭ步长，避免了求解非线性方程和计算条件期望。对区间型数据，成败型数据和重复测量模型，使用上述方法得到ＥＭ步长的计算公式。     

缺失数据下半参数空间自回归模型的估计

本文研究了响应变量随机缺失时部分线性空间自回归模型的估计问题.结合B样条方法,我们给出了该模型参数部分和非数部分的极大似然估计的EM算法、伪限制极大似然估计的EM算法、以及边际极大似然估计算法,并通过数值模拟比较了三种估计和相应算法在不同的样本容量、缺失比例及空间权重矩阵下数值表现.最后,通过一个实际例子进一步验证三种方法的优良性.     

缺失数据下含几何分布的对数线性模型的EM算法

本文研究缺失数据下对数线性模型参数的极大似然估计问题.通过Monte-Carlo EM算法去拟合所提出的模型.其中,在期望步中利用Metropolis-Hastings算法产生一个缺失数据的样本,在最大化步中利用Newton-Raphson迭代使似然函数最大化.最后,利用观测数据的Fisher信息得到参数极大似然估计的渐近方差和标准误差.     

Beta-Binomial模型基于EM算法的应用研究

在很多问题中,Beta-Binomial模型有着较为广泛的应用,本文基于EM算法研究了Beta-Binomial模型的参数估计问题,并把它应用于实际的案例中.结果表明我们提出的方法计算方便,对具体问题的解释更具合理性、科学性.     

含缺失数据线性模型的线性不等式约束EM算法

研究具有缺失数据的线性模型的回归参数在一般线性不等式A₀β≥a约束下的极大似然估计问题;提出了一般线性不等式约束下的EM算法并且证明了此算法的收敛性.     

随机缺失数据下的时间序列分析建模

在时间序列建模过程中,数据的缺失会极大地影响模型的准确性,因此对缺失数据的填补尤为重要.选取北京市空气质量指数(AQI)数据。将其随机缺失10%.分别利用EM算法和polyfit直线拟合的方法对缺失值插补,补全数据后建立ARMA模型并作预测分析.结果表明,利用polyfit函数插补法具有较好的结果.     

Monte Carlo EM加速算法

EM算法是近年来常用的求后验众数的估计的一种数据增广算法, 但由于求出其E步中积分的显示表达式有时很困难, 甚至不可能, 限制了其应用的广泛性. 而Monte Carlo EM算法很好地解决了这个问题, 将EM算法中E步的积分用Monte Carlo模拟来有效实现, 使其适用性大大增强. 但无论是EM算法, 还是Monte Carlo EM算法, 其收敛速度都是线性的, 被缺损信息的倒数所控制, 当缺损数据的比例很高时, 收敛速度就非常缓慢. 而Newton-Raphson算法在后验众数的附近具有二次收敛速率. 本文提出Monte Carlo EM加速算法, 将Monte Carlo EM算法与Newton-Raphson算法结合, 既使得EM算法中的E步用Monte Carlo模拟得以实现, 又证明了该算法在后验众数附近具有二次收敛速度. 从而使其保留了Monte Carlo EM算法的优点, 并改进了Monte Carlo EM算法的收敛速度. 本文通过数值例子, 将Monte Carlo EM加速算法的结果与EM算法、Monte Carlo EM算法的结果进行比较, 进一步说明了Monte Carlo EM加速算法的优良性.     

周期数据时段划分的双截断高斯混合模型及其EM算法

有限混合模型是多模态数据拟合和聚类的有力工具,本文针对具有多模态的周期数据提出了双截断高斯混合糢型,并推导出相应的EM算法,再通过BIC准則确定混合成分个数,该方法的优点是可以将相邻周期上距离较近的数据聚为一类.模拟研究显示,在具体参数设置下,EM算法和BIC准则是相合的。最后,该方法应用于车流量数据的时段划分,将一天划分为具有显著特征的6个时段,有助于交通部门采取相应策略,为优化交通灯信号配时提供参考依据.     

基于高维0-1变量的EM算法在移动通信客户细分中的应用

现代计算机技术的迅速发展为人们提供了大量详细真实的消费者购买行为数据,而这些数据往往可以表现为高维的0-1变量(High dimensional binary response).如何基于这样的数据对消费者群体合理细分是本文关心的重点.具体地说,本文提出一个基于0-1变量的混合模型(Mixture Model),并通过EM算法具体估计。本文以移动通信的实际数据为例做了详细演示,并获得了一些有意义的结论.     

基于EM算法的混合模型中子总体个数的研究

混合模型已成为数据分析中最流行的技术之一,由于拥有数学模型,它通常比聚类分析中的传统的方法产生的结果更精确,而关键因素是混合模型中子总体个数,它决定了数据分析的最终结果。期望最大化(EM)算法常用在混合模型的参数估计,以及机器学习和聚类领域中的参数估计中,是一种从不完全数据或者是有缺失值的数据中求解参数极大似然估计的迭代算法。学者们往往采用AIC和BIC的方法来确定子总体的个数,而这两种方法在实际的应用中的效果并不稳定,甚至可能会产生错误的结果。针对此问题,本文提出了一种利用似然函数的碎石图来确定混合模型中子总体的个数的新方法。实验结果表明,本文方法确定的子总体的个数在大部分理想的情况下可以得到与AIC、BIC方法确定的聚类个数相同的结果,而在一般的实际数据中或条件不理想的状态下,碎石图方法也可以得到更可靠的结果。随后,本文将新方法在选取的黄石公园喷泉数据的参数估计中进行了实际的应用。     

基于公共因子扩展的因子分析的EM算法

在一般因子分析模型的基础上,假设连续的潜在向量(公共因子)与另一观察随机向量有关,并假定是一个多元线性回归模型,对由此扩展的因子分析模型进行分析.主要通过EM算法给出模型中参数的估计.文中给出了它的详细推导过程.     

A Component-Wise EM Algorithm for Mixtures

Maximum likelihood estimation in finite mixture distributions is typically approached as an incomplete data problem to allow application of the expectation-maximization (EM) algorithm. In its general formulation, the EM algorithm involves the notion of a complete data space, in which the observed measurements and incomplete data are embedded. An advantage is that many difficult estimation problems are facilitated when viewed in this way. One drawback is that the simultaneous update used by standard EM requires overly informative complete data spaces, which leads to slow convergence in some situations. In the incomplete data context, it has been shown that the use of less informative complete data spaces, or equivalently smaller missing data spaces, can lead to faster convergence without sacrifying simplicity. However, in the mixture case, little progress has been made in speeding up EM. In this article we propose a component-wise EM for mixtures. It uses, at each iteration, the smallest admissible missing data space by intrinsically decoupling the parameter updates. Monotonicity is maintained, although the estimated proportions may not sum to one during the course of the iteration. However, we prove that the mixing proportions will satisfy this constraint upon convergence. Our proof of convergence relies on the interpretation of our procedure as a proximal point algorithm. For performance comparison, we consider standard EM as well as two other algorithms based on missing data space reduction, namely the SAGE and AECME algorithms. We provide adaptations of these general procedures to the mixture case. We also consider the ECME algorithm, which is not a data augmentation scheme but still aims at accelerating EM. Our numerical experiments illustrate the advantages of the component-wise EM algorithm relative to these other methods.