A scalable correlation‐based approach for outlier detection in wireless body sensor networks

Outlier detection is one of the prominent research domain in the field of data mining and big data analytics. Nowadays, most of the data in healthcare centers are remotely monitored and are generated from different wireless sensors. The core objective of outlier detection in this domain is the recognition of the true physiologically anomalous data and the anomalies because of faulty sensors. In real healthcare monitoring scenario, various sensors are related to each other. So, while detecting outliers in wireless body sensor networks (WBSNs), correlation among different sensor nodes is of major concern. Most of the existing outlier detection techniques consider the sensors to be linearly correlated, which may not always be the case in real life applications. The traditional techniques for outlier detection are also not scalable to big data. To address the above issues, in this paper, we propose an approach for outlier detection that is scalable to big data and also handles the nonlinearly correlated attributes efficiently. The proposed approach is implemented on Hadoop map reduce framework for the rapid processing of big data. The evaluation results are validated using the simulated dataset of WBSNs taken from the Physionet library. The results are compared with various existing outlier detection approaches and demonstrated that the proposed approach is more effective in spotting the physiological outliers and sensor anomalies accurately.     

基于非参数密度估计的异常点诊断方法

异常点诊断是统计学中的经典问题.发现并减少异常点对纳税评估数据分析的影响是一项很有意义的研究.然而,通常的异常点诊断一般采用适用于单峰分布的全局识别方法.借鉴局部域相关积分(Local correlation integral)理论,提出基于非参数密度估计的识别方法.方法适用于多峰分布,能识别局域性质的异常点,对异常点占比较高的样本也有较强的识别能力.基于某市10 920个企业样本,实证分析对比研究了税务局目前使用的和建议的纳税评估方法,结果表明税务局采用的方法有较大的纳税评估风险(误判风险).     

基于边界和距离的离群点检测

近年来,离群点检测已经引起人们的广泛关注. 离群点检测在网络入侵检测、信用卡欺诈、电子商务犯罪、医疗诊断以及反恐等诸多领域都具有十分重要的作用. 离群点检测的目的是为了发现数据集中的一小部分对象,与数据集中其余的大部分对象相比,这一小部分对象有着特殊的行为或者具有反常的属性. 针对现有的离群点检测方法不能有效处理不确定与不完整数据的问题,本文将粗糙集中边界的概念与 Knorr 等所提出的基于距离的离群点检测方法结合在一起,在粗糙集的框架中提出一种新的离群点定义与检测方法. 针对于该方法,我们设计出相应的离群点检测算法 BDOD,并且通过在临床诊断数据集上所进行的实验,验证了算法BDOD的有效性. 实验结果表明本文的方法为处理离群点检测中的不确定与不完整数据问题提供了一条新的途径.     

舰载红外警戒系统目标图像的离群点挖掘算法

针对舰载红外警戒系统目标图像中弱小目标的检测问题,提出了一种基于离群点挖掘的目标检测算法(OBTD)。依据目标与背景在灰度分布上的不同特性,算法将弱小目标视为离群点。分割图像为一系列的子图像,计算子图像中各像素值的局部可达密度,设定阈值挖掘出离群点,得到可能的目标点。算法时间复杂度低,实时性好。试验表明,该算法能有效地检测出图像中的弱小目标,便于进一步的目标识别和跟踪。     

基于极值理论的EXPAR时序模型异常点诊断

本文基于极值理论给出诊断EXPAR模型异常点检验统计量的渐近分布,并依此渐近分布来选取检验的临界值。这种方法选取的临界值可保证控制在一定显著性水平下,而且可以计算渐近p值,比仿真选取的临界值更科学合理。     

离群数据挖掘方法研究

离群数据挖掘是数据挖掘技术的重要研究领域之一。在简单介绍了离群数据挖掘的产生背景及研究意义后,对几种主要的离群数据挖掘方法进行了简单的阐述,详细论述了基于距离的离群数据挖掘算法和基于密度的离群数据挖掘算法,希望能为离群数据挖掘的研究者提供借鉴。     

异常观测数据的逐点剔除法

本文通过引进一类特殊的统计量和对其统计性质的分析,得到了一种线性回归函数因变量异常观测数据的逐点剔除方法,该方法能很快地认识和剔除含粗大的误差的观测数据,具有低的误判概率。本文还给出了与本文方法配套的数值算法,说明本文方法的数值实例和仿真结果。     

对聚类算法普遍存在问题的解决办法

聚类广泛应用于统计、机器学习、模式识别、数据分析等领域并越来越受重视。本文研究了各种聚类算法共同面临的五个问题：聚类效果评估、类数目估计、数据预处理、样本间相似性测量、抗干扰性能，分析了对这些问题的有代表性的解决方法，总结并预测了未来聚类算法在这五个方面的研究方向。     

一种基于统计特征的孤立点和边缘点检测算法

提出一种基于统计分布特征的图像孤立点和边缘点检测的方法。通过定义离群半径,将每个像素点的邻域点进行初步分类,得到疑似孤立点,然后根据每一个点在不同邻域被划分为疑似孤立点的次数,计算该点的孤立置信度。根据孤立点和边缘点具有不同的邻域无关性的特性,从而可以用不同的孤立置信度阈值将两者分别检测出来。实验表明,文中的方法能够有效地检测孤立点和边缘点。     

基于抗差估计的全姿态多位置寻北

为解决寻北过程中需要人工调平而耗时较长的问题,结合全姿态多位置寻北模型,采用总体最小二乘法估算北向角。该算法将陀螺漂移转化为测量误差,而转台倾斜误差、轴系误差及安装误差等同系数矩阵误差,在忽略较少误差项的同时完成寻北过程;并根据实际数据中含有粗差的情况,提出抗差总体最小二乘方法,引入 等价权函数消除粗差数据的影响,从而提高算法在含有粗差数据时的寻北精度。仿真数据分析和实验结果表明：该算法能有效削弱粗差对寻北精度的影响,实现全姿态高精度寻北。