高频监测数据的异常数据特征分析与检测

对某火电厂10个设备的60000条高频监测数据进行基本的统计分析,得出高频数据的异常数据具有异常点和异常段两种特征,提出了一种基于频数分布和一阶向前差分的检测高频数据中的异常点和异常段的方法.根据数据的一阶向前差分绝对值的频率分布以及风险系数来确定异常数据的阈值,根据设备本身的性能和采样频率确定了异常段所包含异常点的最大个数,根据阈值和最大异常点个数给出异常点和异常段的判断规则.用该方法诊断火电厂前置泵电机的6000条数据的异常数据,结果与实际异常数据相符.     

基于多分类马田系统的半监督数据异常点检测方法

针对包含多个正常类的多元数据异常检测问题,提出了一种基于多分类马田系统的半监督数据异常检测方法.通过对训练数据集中的每个正常类分别建立马氏空间,构建了基于马氏距离的多类测量尺度,方法对测试数据集中正常数据进行分类的同时,能够实现对异常数据的检测.通过模拟带异常值的高斯混合模型数据验证了该方法的有效性.     

指数分布场合异常数据的检验

本文讨论了指数分布场合异常数据的检验，当数据中同时含有异常大、异常小的数据时给出了检验方法，导出了检验统计量及其近似分布，用一个例子说明了所给方法。     

综合评价中异常值的识别及无量纲化处理方法

针对综合评价中的异常值现象,讨论了原始数据中是否存在异常值、若存在异常值该如何识别异常值以及对含有异常值的评价数据如何进行无量纲化处理三个问题。关于异常值的判断与识别,给出了以“中位数”为参考点,通过比较排序后两端数据偏离中位数的距离的处理思路。对含有异常值的评价数据的无量纲化处理问题,基于常用的“极值处理法”,通过分别指定异常值和非异常值无量纲化取值区间的方式,提出了一种分段的无量纲化处理方法。最后,通过与已有文献异常值识别及无量纲化处理结果的对比分析,验证了本文方法的有效性,发现本文给出的方法能够实现对异常值的适度筛选,且能够提升无量纲化数据分布均衡性。     

基于杠杆值大数据集抽样的异常点诊断

本文主要研究大数据集下利用杠杆值抽样后的异常点诊断问题。首先讨论了数据删除模型中参数估计的统计性质,构造了四种异常点诊断统计量;其次,根据均值漂移模型的漂移参数的假设检验问题,构造了三种检验统计量;最后,通过模拟和实证数据分析结果得出本文的结论—异常点诊断对于基于杠杆值的大数据集抽样估计起到重要的影响作用。     

卫星遥测数据的波动特征提取及应用

目前基于遥测数据的卫星在轨状态监测和异常检测,主要通过频谱分析等信号处理方法提取遥测特征,难以适应卫星遥测数据离散取值、数据量大、异常和噪声复杂等特点,所提取的特征量特点不突出,难以满足遥测数据异常检测要求.提出基于波动特征的卫星遥测数据特征提取方法,以遥测数据变化频数或累积变化次数作为卫星遥测数据特征,具有实现简单、快速高效、对异常数据不敏感等特点.基于所提取的波动特征,提出一种基于序贯概率比检验(SPRT)的卫星在轨异常检测方法.实例分析结果表明,所提取的特征量能够较好地识别卫星异常,具有较高的计算效率和较好的检测性能.     

大型仪器利用情况调查数据异常值检测的数学方法比较

高质量的决策越来越依赖于高质量的数据挖掘及其分析,高质量的数据挖掘离不开高质量的数据.在大型仪器利用情况调查中,由于主客观因素,总是致使有些数据出现异常,影响数据的质量.这就需要通过适用的方法对异常数据进行检测处理.不同类型数据往往需要不同的异常值检测方法.分析了大型仪器利用情况调查数据的总体特点、一般方法,并以国家科技部平台中心主持的"我国大型仪器资源现状调查"(2009)中大型仪器使用机时和共享机时数据为主线,比较研究了回归方法、基于深度的方法和箱线图方法等对不同类型数据异常值检测的适用性.选取不同角度,检验并采用不同的适用方法,找出相关的可疑异常值,有助于下一步有效开展大型仪器利用情况异常数据的分析处理,提高数据质量,为大型仪器利用情况综合评价奠定基础,也为科技资源调查数据预处理中异常值检测方法提供有益借鉴.     

一种模态傅里叶-支持向量机优化的取用水监测异常数据重构方法

提高数据的完备与真实性是水资源监控能力建设的关键。针对国家水资源监控能力建设项目实施以来其监测数据呈现出的异常特征,按照“先粗筛后精选”逻辑,并考虑取用水季节性周期波动的特点,提出采用拉依达准则-模态分解-傅里叶残差修正的水监测数据异常值识别方法,并根据粒子群优化最小二乘支持向量机模型实现对异常数据的重构恢复。通过对企业取用水数据的实例分析,结果表明分段式拉依达准则在其监测异常数据的粗筛中具有较好的适用性,利用傅里叶修正集合模态分解的监测数据序列可取得更佳的拟合效果,从而达到异常数据精选的目的;而粒子群优化最小二乘支持向量机模型对异常数据重构恢复的可信度高于普通最小二乘支持向量机及传统曲线拟合数据重构方法,即该类取用水监测异常数据重构方法可有助于进一步推进其监测数据对实际水资源状态的客观反映。     

一种改进的异常值检测算法与稳健估计

对模型精度与稳健性的要求使得异常值检测与稳健估计在模型构建中变得日益重要.本文首先利用基于边际相关系数构造的高维影响度量指标(HIM)与基于距离相关系数构造的高维数据异常值判别方法(HDC)分别对数据中的异常值进行初步检测,将数据集中的点分为正常点与异常点两类,然后在初始正常点集的基础上利用稳健的参数估计方法和残差空间超椭球等高面的概念构造了对初始正常点集中误判点的纠正方法,并对初始异常点集中各点的异常值概率重新进行计算,以进一步纠正误判入异常点集的正常点,最终对异常值检测的准确率进行进一步的提升.通过对两种数据结构下三种不同类型异常数据的模拟,证明了所提方法的有效性,并通过实例进行验证与分析.     

指数分布场合下同时存在异常大和异常小值的检验

针对指数分布的场合 ,笔者从经典统计思想入手给出了”取中逐步推移检验法” ,较好地解决了同时存在异常大和异常小数据的检验问题     

Influence diagnostics and outlier tests for varying coefficient mixed models

In this paper, we consider subset deletion diagnostics for fixed effects (coefficient functions), random effects and one variance component in varying coefficient mixed models (VCMMs). Some simple updated formulas are obtained, and based on which, Cook’s distance, joint influence and conditional influence are also investigated. Besides, since mean shift outlier models (MSOMs) are also efficient to detect outliers, we establish an equivalence between deletion models and MSOMs, which is not only suitable for fixed effects but also for random effects, and test statistics for outliers are then constructed. As a byproduct, we obtain the nonparametric “delete = replace” identity. Our influence diagnostics methods are illustrated through a simulated example and a real data set.     

双参数对数正态分布异常数据的检测方法

针对双参数对数正态分布场合下的多个异常数据给出一种新的检测方法。首先由参数的BLUE导出证明了两个检验所用的枢轴量,然后通过蒙特卡罗方法模拟得到枢轴量的样本分位点表,最后用一个例子说明方法是有效可行的。     

正态样本中多个异常值的双边检验

对于正态样本中上下异常值的同时检验,大多数文献仅处理了下异常值的个数k1和上异常值个数k2已知的情况.当k1和k2未知时,由于受masking或swamping效应,检验问题变得十分困难与复杂.本文成功地解决了这一问题.     

线性模型参数的稳健化有偏估计

本文讨论复共线性和粗差同时存在时线性模型的参数估计问题,基于等价权原理提出了一个稳健有偏估计类（稳健压缩估计）,并且建立了稳健压缩估计的计算方法,为了满足实际问题的需要,构造了许多很有意义的稳健有偏估计,例如稳健岭估计、稳健主成分估计,稳健组合主成估计、稳健单参数主成分估计、稳健根方估计等等,最后通过一个算例表明,本文提出的稳健有偏估计具有既可克服复共线性影响又可抵抗粗差干扰的良好性质。     

均值方差结构模型的渐近稳健推断(英文)

均值方差模型广泛应用于行为、教育、医学、社会和心理学的研究.经典的极大似然估计对于异常点和分布扰动易受影响.本文基于目标函数最小化给出稳健估计,并基于稳健偏差提出模型拟合.     

OUTLIER TEST IN RANDOMIZED LINEAR MODEL

In this paper, we give an approach for detecting one or more outliers inrandomized linear model The likelihood ratio test statistic and its distributions under the null hypothesis and the alternative bypothesis are given. Furthermore, the rebustneas of the test statistic in a certain sere is proved. Finally, the optimality properties of the test are derived.     

The breakdown behavior of the maximum likelihood estimator in the logistic regression model

In this note we discuss the breakdown behavior of the maximum likelihood (ML) estimator in the logistic regression model. We formally prove that the ML-estimator never explodes to infinity, but rather breaks down to zero when adding severe outliers to a data set. An example confirms this behavior.     

线性回归模型多个离群点的向前逐步诊断方法

当线性回归模型中存在多个离群点时,经典的诊断方法常常因掩盖和淹没现象而失效,导致模型误用。针对此问题,本文在回顾有关文献的基础上,将稳健回归技术与经典诊断量相结合,提出一种向前逐步诊断方法。通过对模拟数据的分析,说明该法可有效地识别回归数据中潜在的离群点,并作正式的统计检验。     

Robustness of GM-tests in autoregression against outliers

The paper deals with properties of GM-estimators and GM-tests for linear hypotheses in AR(p)-processes when observations contain outliers. In particular, we obtain the marginal distribution of test statistics, which allows us to prove the robustness of these GM-tests. The scheme of data contamination by additive single outliers with the intensity O(n ^?1/2), where n is the data level, is considered.     

A comparison of best fit lines for data with outliers

Three techniques for determining a straight line fit to data are compared. The methods are applied to a range of datasets containing one or more outliers, and to a specific example from the field of chemistry. For the method which is the most resistant to the presence of outliers, a Microsoft Excel spreadsheet, as well as two Matlab routines, are included which can be used to determine the slope and intercept estimates.